Как записать полученный RDD в CSV-файл в Spark Python
У меня есть в результате RDDlabelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions)
, Это имеет вывод в следующем формате:
[(0.0, 0.08482142857142858), (0.0, 0.11442786069651742),.....]
Я хочу создать файл CSV с одним столбцом дляlabels
(первая часть кортежа в выводе выше) и одна дляpredictions
(вторая часть вывода кортежей). Но я не знаю, как записать в файл CSV в Spark, используя Python.
Как я могу создать файл CSV с вышеупомянутым выводом?