Salvar dataframe do Spark em arquivo único no local hdfs [duplicado]
Esta pergunta já tem uma resposta aqui:
Como salvar dados RDD em arquivos json, não em pastas 2 respostasTenho o dataframe e quero salvar em um único arquivo no local hdfs.
eu encontrei a solução aquiGravar um arquivo CSV único usando spark-csv
df.coalesce(1)
.write.format("com.databricks.spark.csv")
.option("header", "true")
.save("mydata.csv")
Mas todos os dados serão gravados em mydata.csv / parte-00000 e eu queria ser o arquivo mydata.csv.
isso é possível?
qualquer ajuda apreciar