Кеширование промежуточных результатов в конвейере Spark ML

В последнее время я планирую перенести мой автономный код Python ML для запуска. Трубопровод ML в

Как разделить по ключу в Spark?

Учитывая, что документы HashPartitioner говорят:[HashPartitioner] реализует разбиение на основе хеша с использованием Java Object.hashCode.Скажи, я хочу раздел

Как настроить Zeppelin для работы с удаленным кластером EMR Yarn

Передача функций класса в PySpark RDD

У меня есть класс с именем some_class () в файле Python:

SparkSQL - функция задержки?

Я вижу в этомПост DataBricksВ SparkSql есть поддержка оконных функций, в частности я пытаюсь использовать оконную функцию lag ().У меня есть строки транзакци...

Каков наилучший способ определения пользовательских методов в DataFrame?

Spark MLlib LDA, как вывести темы распространения нового невидимого документа?

Я заинтересован в применении тематического моделирования LDA с использованием Spark MLlib. Я проверил код и объяснения вВот но я не мог найти, как использова...

Как использовать SQL-запрос для определения таблицы в dbtable?

ВJDBC в другие базы данных Я нашел следующее объяснение

Spark ML Трубопроводная логистическая регрессия дает гораздо худшие прогнозы, чем R GLM

Я использовал ML PipeLine для запуска моделей логистической регрессии, но по некоторым причинам я получил худшие результаты, чем R. Я провел некоторые исслед...

Будет ли Spark бездействовать сам RDD, когда он поймет, что он больше не будет использоваться?

Мы можем сохранить СДР в памяти и / или на диске, когда хотим использовать его более одного раза. Тем не менее, нужно ли нам в дальнейшем самим отменять это,...