Исключение Apache Spark в потоке «main» java.lang.NoClassDefFoundError: scala / collection / GenTraversableOnce $ class

Версия Scala: 2.11.7 (пришлось обновить версию scala, чтобы разрешить регистру принимать более 22 параметров.) Версия Spark: 1.6.1 PFB pom.xmlОшибка ниже при...

Как читать несколько строковых элементов в Spark?

Когда вы читаете файл в Spark, используяsc.textfile, это дает вам элементы, где каждый элемент представляет собой отдельную строку. Однако я хочу, чтобы кажд...

Выход из Spark-shell из скрипта scala

Изменить префикс выходного имени файла для DataFrame.write ()

Выходные файлы, сгенерированные с помощью метода Spark SQL DataFrame.write (), начинаются с префикса basename «part». например

В PySpark 1.5.0 как вы перечисляете все элементы столбца `y` на основе значений столбца` x`?

Следующий вопрос относится к версии 1.5.0 PySpark, поскольку в PySpark постоянно добавляются новые функции.Как вы перечисляете все элементы колонки

Получите java.lang.LinkageError: ClassCastException при использовании spark sql hivesql на пряже

Это драйвер, который я загружаю в yarn-cluster:

Использование оконных функций в Spark

Я пытаюсь использовать rowNumber в кадрах данных Spark. Мои запросы работают как положено в оболочке Spark. Но когда я записываю их в затмении и собираю банк...

java.lang.OutOfMemoryError в pyspark

Hy,У меня есть dataframe в sparkcontext с 400k строк и 3 столбца. Драйвер имеет 143,5 памяти

Спарк Роу в JSON

Я хотел бы создать JSON из фрейма данных Spark v.1.6 (используя scala). Я знаю, что есть простое решение

PySpark: выкладывать один файл при записи вместо нескольких файлов деталей

Есть ли способ запретить PySpark создавать несколько небольших файлов при записи DataFrame в файл JSON?Если я бегу: