Esta pregunta ya tiene una respuesta aquí:

Hasta donde yo sé, Spark intenta hacer todos los cálculos en la memoria, a menos que llame a persistir con la opción de almacenamiento en disco. Sin embargo, si no utilizamos ninguna persistencia, ¿qué hace Spark cuando un RDD no cabe en la memoria? ¿Qué pasa si tenemos datos muy grandes? ¿Cómo lo manejará Spark sin estrellarse?