Как читать JSON со схемой в спарк DataFrames / спарк SQL

Условное объединение в Spark DataFrame

Я пытаюсь присоединиться к двум

Spark Dataframe Максимальное количество столбцов

Подготовьте мои большие данные с помощью Spark через Python

Исключение при доступе к KafkaOffset из RDD

У меня есть потребитель Spark, который течет из Кафки. Я пытаюсь управлять смещениями для семантики, выполняемой ровно один раз.Однако при доступе к смещению...

Как отфильтровать Spark dataframe, если один столбец является членом другого столбца

У меня есть датафрейм с двумя столбцами (одна строка и один массив строк):

Как создать SparkSession с поддержкой Hive (с ошибками «Hive классы не найдены»)?

Я получаю эту ошибку, когда пытаюсь запустить этот код.

Spark объединяет / объединяет массивы в groupBy / aggregate

Следующий код Spark правильно демонстрирует, что я хочу сделать, и генерирует правильный вывод с небольшим набором демонстрационных данных.Когда я запускаю э...

Spark DataFrame: поддерживает ли groupBy после orderBy этот порядок?

У меня есть датафрейм Spark 2.0

Работа с Jupyter в Windows и Apache Toree Kernel для совместимости с Spark

Я пытаюсь установить ядро ​​Apache Toree для совместимости с искрой и сталкиваюсь со странным сообщением об окружающей среде. Это процесс, которому я следова...