PySpark: escupe un solo archivo al escribir en lugar de varios archivos de pieza
¿Hay alguna manera de evitar que PySpark cree varios archivos pequeños al escribir un DataFrame en un archivo JSON?
Si corro:
df.write.format('json').save('myfile.json')
o
df1.write.json('myfile.json')
crea la carpeta llamadamyfile y dentro de él encuentro varios archivos pequeños llamadospart-***, la forma HDFS. ¿Es posible de alguna manera escupir un solo archivo?