значение toDF не является членом org.apache.spark.rdd.RDD

Вычисление ранга строки

Я хочу оценить идентификатор пользователя на основе одного поля. Для того же значения поля ранг должен быть одинаковым. Эти данные находятся в таблице Hive.н...

Spark SQL ссылающиеся атрибуты UDT

Я пытаюсь реализовать пользовательский UDT и иметь возможность ссылаться на него из Spark SQL (как описано в техническом описании Spark SQL, раздел 4.4.2).На...

Выбор случайных элементов из объекта Spark GroupedData

Я новичок в использовании Spark в Python и не смог решить эту проблему: После запуска

Spark DataFrame преобразует несколько строк в столбец

Я новичок, чтобы зажечь, и я хочупреобразование нижеисходный фрейм данных (загрузить из файла JSON):

Sparksql фильтрация (выбор с предложением где) с несколькими условиями

Привет у меня есть следующая проблема:

Как я могу создать Spark DataFrame из вложенного массива элемента struct?

Я прочитал файл JSON в Spark. Этот файл имеет следующую структуру:

SparkSQL: условная сумма с использованием двух столбцов

Я надеюсь, что вы можете помочь мне с этим. У меня есть DF следующим образом:

Разница между фильтром и где в scala spark sql

Я пробовал оба, но работает одинаковопример

Spark, Scala, DataFrame: создание векторов объектов

у меня есть