Результаты поиска по запросу "apache-spark-sql"
Как выбрать первый ряд каждой группы?
У меня есть DataFrame, сгенерированный следующим образом:
Как определить пользовательскую функцию агрегирования для суммирования столбца Векторов?
У меня есть DataFrame из двух столбцов,
Подсчитать количество не-NaN записей в каждом столбце кадра данных Spark с Pyspark
У меня очень большой набор данных, загруженный в Hive. Он состоит из примерно 1,9 миллиона строк и 1450 столбцов. Мне нужно определить «охват» каждого из сто...
SparkSQL поддерживает подзапрос?
Я выполняю этот запрос в оболочке Spark, но он дает мне ошибку,
Авро Схема для зажигания StructType
Это фактически так же, как мойпредыдущий вопрос, но используя Avro, а не JSON в качестве формата данных.Я работаю с фреймом данных Spark, который может загру...
Как фильтровать по диапазону дат в Spark SQL
Я пытаюсь отфильтровать диапазон дат из следующих данных, используя блоки данных, которые возвращают пустое значение в качестве ответа. Мои данные CSV выгляд...
Возврат нескольких массивов из определяемой пользователем статистической функции (UDAF) в Apache Spark SQL
Я пытаюсь создать пользовательскую агрегатную функцию (UDAF) в Java, используя Apache Spark SQL, который возвращает несколько массивов по завершении. Я искал...
Подключитесь к SQLite в Apache Spark
Я хочу запустить пользовательскую функцию для всех таблиц в базе данных SQLite. Функция более или менее одинакова, но зависит от схемы отдельной таблицы. Кро...
Как переименовать поля в DataFrame, соответствующем вложенному JSON
Я пытаюсь обработать события JSON, полученные в мобильном приложении (например, клики и т. Д.), Используя
Примените одну и ту же функцию ко всем полям строки искровых данных.
У меня есть dataframe, в котором у меня есть около 1000 (переменных) столбцов.Я хочу сделать все значения заглавными.Вот подход, о котором я думал, можете ли...