Как добавить в CSV-файл, используя df.write.csv в pyspark?
Я пытаюсь добавить данные в мой CSV-файл с помощьюdf.write.csv, Это то, что я сделал после следующего документа искрыhttp://spark.apache.org/docs/2.0.1/api/python/pyspark.sql.html#pyspark.sql.DataFrameWriter:
from pyspark.sql import DataFrameWriter
.....
df1 = sqlContext.createDataFrame(query1)
df1.write.csv("/opt/Output/sqlcsvA.csv", append) #also tried 'mode=append'
Выполнение приведенного выше кода дает мне ошибку:
NameError: имя 'append' не определено
Без добавления, ошибка:
Путь уже существует.