Как далеко зайдет кэш Spark RDD?
Скажи у меня триРДД функция преобразования вызываетсяrdd1:
def rdd2 = rdd1.f1
def rdd3 = rdd2.f2
def rdd4 = rdd3.f3
Теперь хочу кешироватьrdd4
так я звонюrdd4.cache()
.
Мой вопрос:
Будет только результат от действия наrdd4
будет кэшироваться или будет каждыйРДД вышеrdd4
быть кэшированным? Скажем, я хочу кешировать обаrdd3
а такжеrdd4
нужно ли их кэшировать отдельно?