На этот вопрос уже есть ответ:

Записать один CSV-файл с помощью spark-csv 8 ответов

Скажем, у меня есть Spark DataFrame, который я хочу сохранить в виде файла CSV. ПослеSpark 2.0.0 , DataFrameWriter class напрямую поддерживает сохранение его в виде файла CSV.

Поведение по умолчанию заключается в сохранении вывода в несколькоpart -. * @ C файлы в указанном пути.

Как бы я сохранил DF с помощью:

Сопоставление пути с точным именем файла вместо папки Заголовок доступен в первой строке Сохранить как один файл вместо нескольких файлов.

Один из способов справиться с этим - объединить DF и затем сохранить файл.

df.coalesce(1).write.option("header", "true").csv("sample_file.csv")

Однако это имеет недостаток при сборе его на мастер-машине и требует наличия мастера с достаточным объемом памяти.

Можно ли написать один файл CSV без использования @ COALES? Если нет, есть ли эффективный способ, чем приведенный выше код?