PySpark: выкладывать один файл при записи вместо нескольких файлов деталей
Есть ли способ запретить PySpark создавать несколько небольших файлов при записи DataFrame в файл JSON?
Если я бегу:
df.write.format('json').save('myfile.json')
или же
df1.write.json('myfile.json')
он создает папку с именемmyfile
и в нем я нахожу несколько небольших файлов с именемpart-***
, способ HDFS. Можно ли каким-либо образом заставить его выплюнуть один файл?