Cómo escribir la salida de Spark Streaming en HDFS sin sobrescribir
Después de un procesamiento, tengo un DStream [String, ArrayList [String]], así que cuando lo escribo en hdfs usando saveAsTextFile y después de cada lote sobrescribe los datos, así que cómo escribir un nuevo resultado al agregarlo a resultados anteriores
output.foreachRDD(r => {
r.saveAsTextFile(path)
})
Editar :: Si alguien pudiera ayudarme a convertir la salida al formato avro y luego escribir a HDFS con un anexo