Вы проверяли это? Я думаю, что он добавляет новые файлы в каталог / путь
некоторой обработки у меня есть DStream [String, ArrayList [String]], поэтому, когда я записываю его в hdfs, используя saveAsTextFile, и после каждого пакета он перезаписывает данные, как записать новый результат, добавив к предыдущим результатам
output.foreachRDD(r => {
r.saveAsTextFile(path)
})
Редактировать :: Если кто-нибудь может помочь мне в преобразовании выходных данных в формат AVRO, а затем писать в HDFS с добавлением