Cómo almacenar en caché un marco de datos de Spark y hacer referencia a él en otro script

¿Es posible almacenar en caché un marco de datos y luego hacer referencia (consultarlo) en otro script? ... Mi objetivo es el siguiente:

En el script 1, cree un marco de datos (df)Ejecute el script 1 y la memoria caché dfEn el script 2, consulta los datos en df

Respuestas a la pregunta(2)

Su respuesta a la pregunta