Hive UDF для выбора всех, кроме некоторых столбцов

Общий шаблон построения запросов в HiveQL (и SQL в целом) состоит в том, чтобы выбрать все столбцы (

Spark-запрос выполняется очень медленно

У меня есть кластер на AWS с 2 рабами и 1 мастером. Все экземпляры имеют тип m1.large. У меня работает спарк версии 1.4. Я оцениваю производительность на 4 м...

Рассчитать стандартное отклонение сгруппированных данных в Spark DataFrame

SPARK: ошибка: `` union '' ожидается, но найдено `('

Spark DataFrames Groupby в список

Я пытаюсь сделать некоторый анализ на множествах. У меня есть пример набора данных, который выглядит следующим образом:orders.json

Spark SQL - строка запроса Escape

Я не могу поверить, что я спрашиваю это, но ...КАК ВЫ СОБИРАЕТЕ СТРОКУ SQL QUERY В SPARK SQL С ИСПОЛЬЗОВАНИЕМ SCALA?Я устал все и искал везде. Я думал, что б...

Как экспортировать данные из Spark SQL в CSV

Эта команда работает с HiveQL:

Spark: написание DataFrame в виде сжатого JSON

Апач Спаркс

Как подключиться к метасольве Hive программно в SparkSQL?

Я использую HiveContext с SparkSQL и пытаюсь подключиться к удаленному метастагу Hive. Единственный способ установить метасторье Hive - это включить hive-sit...

PySpark, импорт схемы через файл JSON