Почему мой Spark работает медленнее, чем чистый Python? Сравнение производительности

Как я могу разделить pyspark RDD с функциями R

Как связать PyCharm с PySpark?

Как рассчитать накопительную сумму, используя sqlContext

Я знаю, что мы можем использоватьОконная функция в писпарке рассчитать накопленную сумму. Но Window поддерживается только в HiveContext, а не в SQLContext. М...

UDF Pyspark DataFrame в текстовом столбце

Я пытаюсь очистить некоторые тексты НЛП от некоторых столбцов Unicode в PySpark DataFrame. Я пробовал в Spark 1.3, 1.5 и 1.6 и, похоже, не могу заставить вещ...

Spark Выполнение файла TB в памяти

Предположим, у меня есть один файл данных Tb. Объем памяти каждого узла в кластере из 10 узлов составляет 3 ГБ.Я хочу обработать файл, используя спарк. Но ка...

Функция Strip или Regex в кадре данных Spark 1.3

У меня есть некоторый код из PySpark 1.5, который я, к сожалению, должен перенести обратно в Spark 1.3. У меня есть столбец с алфавитно-цифровыми элементами,...

Когда вы отправляете задание с помощью pyspark, как получить доступ к загрузке статических файлов с аргументом --files?

например, у меня есть папка:

Создать DataFrame из списка кортежей, используя pyspark

Переполнение стека при обработке нескольких столбцов с помощью UDF

у меня есть