Как кэшировать фрейм данных Spark и ссылаться на него в другом скрипте

Можно ли кэшировать фрейм данных и затем ссылаться на него (запрашивать) в другом скрипте? ... Моя цель заключается в следующем:

В сценарии 1 создайте фрейм данных (df)Запустите скрипт 1 и кеш dfВ сценарии 2 запрос данных в df

Ответы на вопрос(2)

Ваш ответ на вопрос