Como gravar o RDD resultante em um arquivo CSV no Spark python
Eu tenho um RDD resultantelabelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions). Isso tem saída neste formato:
[(0.0, 0.08482142857142858), (0.0, 0.11442786069651742),.....]
O que eu quero é criar um arquivo CSV com uma coluna paralabels (a primeira parte da tupla na saída acima) e uma parapredictions(segunda parte da saída da tupla). Mas não sei como gravar em um arquivo CSV no Spark usando Python.
Como posso criar um arquivo CSV com a saída acima?