PySpark: выкладывать один файл при записи вместо нескольких файлов деталей

Есть ли способ запретить PySpark создавать несколько небольших файлов при записи DataFrame в файл JSON?Если я бегу:

java.lang.OutOfMemoryError в pyspark

Hy,У меня есть dataframe в sparkcontext с 400k строк и 3 столбца. Драйвер имеет 143,5 памяти

Spark читает Python3 Pickle в качестве входных данных

Работа с jdbc jar в pyspark

Можно ли масштабировать данные по группам в Spark?

Я хочу масштабировать данные с

Какой самый эффективный способ сделать отсортированное сокращение в PySpark?

Я анализирую своевременные отчеты об эффективности внутренних рейсов США с 2015 года. Мне нужно сгруппировать по номеру хвоста и сохранить отсортированный по...

Импорт пакетов PySpark

Я скачал

Зарегистрируйте UDF в SqlContext из Scala для использования в PySpark

PySpark построчная композиция функций

В качестве упрощенного примера у меня есть фрейм данных "df" со столбцами "col1, col2", и я хочу вычислить построчный максимум после прим...

Как назначить и использовать заголовки столбцов в Spark?