¿Qué sucede si un RDD no cabe en la memoria en Spark? [duplicar
Esta pregunta ya tiene una respuesta aquí:
¿Qué hará chispa si no tengo suficiente memoria? 3 respuestasHasta donde yo sé, Spark intenta hacer todos los cálculos en la memoria, a menos que llame a persistir con la opción de almacenamiento en disco. Sin embargo, si no utilizamos ninguna persistencia, ¿qué hace Spark cuando un RDD no cabe en la memoria? ¿Qué pasa si tenemos datos muy grandes? ¿Cómo lo manejará Spark sin estrellarse?