Результаты поиска по запросу "apache-spark-sql"
Искра Исключение: не удалось выполнить задачу при записи строк
Я читаю текстовые файлы и преобразовываю их в паркетные файлы. Я делаю это с использованием искрового кода. Но когда я пытаюсь запустить код, я получаю следу...
Pyspark: прямая заливка с последним наблюдением для DataFrame
Используя Spark 1.5.1,Я пытался переслать заполнитьнулевые значения с последним известным наблюдением дляодин столбец моего DataFrame.Можно начать с нулевого...
Поддерживает ли spark-sql несколько разделителей во входных данных?
У меня есть входные данные с несколькими разделителями одного символа следующим образом:
Исключение Apache Spark в потоке «main» java.lang.NoClassDefFoundError: scala / collection / GenTraversableOnce $ class
Версия Scala: 2.11.7 (пришлось обновить версию scala, чтобы разрешить регистру принимать более 22 параметров.) Версия Spark: 1.6.1 PFB pom.xmlОшибка ниже при...
Изменить префикс выходного имени файла для DataFrame.write ()
Выходные файлы, сгенерированные с помощью метода Spark SQL DataFrame.write (), начинаются с префикса basename «part». например
Спарк Роу в JSON
Я хотел бы создать JSON из фрейма данных Spark v.1.6 (используя scala). Я знаю, что есть простое решение
Получите java.lang.LinkageError: ClassCastException при использовании spark sql hivesql на пряже
Это драйвер, который я загружаю в yarn-cluster:
PySpark: выкладывать один файл при записи вместо нескольких файлов деталей
Есть ли способ запретить PySpark создавать несколько небольших файлов при записи DataFrame в файл JSON?Если я бегу:
Выполнение Spark SQL-запроса в Hive
Я новичок в Spark SQL, но знаю о структуре выполнения запросов улья. Я хотел бы понять, как спарк выполняет запросы SQL (техническое описание)?Если я стреляю...