СДР Spark cache не отображается в Web-интерфейсе Spark History - Хранилище

я использую

Генерация случайных чисел в PySpark

Давайте начнем с простой функции, которая всегда возвращает случайное целое число:

Искра: Разница между произвольной записью, случайным разливом (памятью), случайным разливом (диском)?

У меня следующая искровая работа, пытаюсь сохранить все в памяти:

Будет ли какой-нибудь сценарий, когда Spark RDD не сможет удовлетворить неизменность?

СДР зажигания сконструированы в неизменном, отказоустойчивом и отказоустойчивом виде.Удовлетворяет ли СДР неизменность во всех сценариях? Или есть какой-то с...

Спарк производительности для Scala против Python

Как получить данные из определенного раздела в Spark RDD?

Я хочу получить доступ к данным из определенного раздела в Spark RDD. Я могу получить адрес раздела следующим образом:

Передача функций класса в PySpark RDD

У меня есть класс с именем some_class () в файле Python:

Будет ли Spark бездействовать сам RDD, когда он поймет, что он больше не будет использоваться?

Мы можем сохранить СДР в памяти и / или на диске, когда хотим использовать его более одного раза. Тем не менее, нужно ли нам в дальнейшем самим отменять это,...

PySpark DataFrames - способ перечисления без преобразования в панды?

У меня очень большойpyspark.sql.dataframe.DataFrame по имени дф. Мне нужен какой-то способ перечисления записей - таким образом, возможность доступа к записи...

Конвертировать RDD в итерируемый: PySpark?

У меня есть RDD, который я создаю, загружая текстовый файл и предварительно обрабатывая его. Я не хочу собирать его и сохранять на диск или в память (целые д...