Как преобразовать DataFrame в Json?

У меня есть огромный JSON-файл, небольшая часть которого выглядит следующим образом:

Что является эффективным, Dataframe или RDD или hiveql?

Я новичок в Apache Spark.Моя задача - прочитать два CSV-файла, выбрать из него несколько определенных столбцов, объединить их, объединить и записать результа...

Как получить доступ к таблицам RDD через Spark SQL как механизм распределенных запросов JDBC?

В нескольких публикациях на stackoverflow есть ответы с частичной информацией о том, как получить доступ к таблицам RDD через Spark SQL как механизм распреде...

Как создать пустой DataFrame с указанной схемой?

Я хочу создать на

PySpark: сопоставление SchemaRDD с SchemaRDD

Использование искрового DataFrame «как» метод

SPARK SQL замена для агрегатной функции mysql GROUP_CONCAT

У меня есть таблица из двух столбцов строкового типа (имя пользователя, друг), и для каждого имени пользователя я хочу собрать всех его друзей в одну строку,...

Конвертация RDD в LabeledPoint

Если у меня есть RDD около 500 столбцов и 200 миллионов строк, и

Как добавить новый столбец Struct в DataFrame

В настоящее время я пытаюсь извлечь базу данных из MongoDB и использовать Spark для загрузки в ElasticSearch с

Постоянно увеличивающаяся физическая память для приложения Spark в YARN

Я запускаю приложение Spark в YARN с двумя исполнителями с Xms / Xmx 32 ГБ и spark.yarn.excutor.memoryOverhead 6 ГБ.Я вижу, что физическая память приложения ...