PySpark: cuspir arquivo único ao escrever em vez de vários arquivos de peça
Existe uma maneira de impedir que o PySpark crie vários arquivos pequenos ao gravar um DataFrame em um arquivo JSON?
Se eu correr:
df.write.format('json').save('myfile.json')
ou
df1.write.json('myfile.json')
ele cria a pasta chamadamyfile e dentro dele encontro vários arquivos pequenos chamadospart-***, da maneira HDFS. É possível, por qualquer meio, cuspir um único arquivo?