Como gravar a saída do Spark Streaming no HDFS sem substituir
Após algum processamento, tenho um DStream [String, ArrayList [String]]; portanto, quando eu estou gravando em hdfs usando saveAsTextFile e depois de cada lote, os dados são substituídos; portanto, como gravar um novo resultado acrescentando resultados anteriores
output.foreachRDD(r => {
r.saveAsTextFile(path)
})
Editar :: Se alguém pudesse me ajudar a converter a saída para o formato avro e, em seguida, gravar no HDFS com o acréscimo