Cómo escribir el RDD resultante en un archivo csv en Spark python
Tengo un RDD resultantelabelsAndPredictions = testData.map(lambda lp: lp.label).zip(predictions). Esto tiene salida en este formato:
[(0.0, 0.08482142857142858), (0.0, 0.11442786069651742),.....]
Lo que quiero es crear un archivo CSV con una columna paralabels (la primera parte de la tupla en la salida anterior) y una parapredictions(segunda parte de la salida de tupla). Pero no sé cómo escribir en un archivo CSV en Spark usando Python.
¿Cómo puedo crear un archivo CSV con el resultado anterior?