Cómo convertir un RDD [Fila] de nuevo a DataFrame [duplicado]
Esta pregunta ya tiene una respuesta aquí:
Cómo convertir objetos rdd a dataframe en spark 10 respuestasHe estado jugando con la conversión de RDD a DataFrames y viceversa. Primero, tuve un RDD de tipo (Int, Int) llamado dataPair. Luego creé un objeto DataFrame con encabezados de columna usando:
val dataFrame = dataPair.toDF(header(0), header(1))
Luego lo convertí de un DataFrame a un RDD usando:
val testRDD = dataFrame.rdd
que devuelve un RDD de tipo org.apache.spark.sql.Row (no (Int, Int)). Luego me gustaría convertirlo de nuevo a un RDD usando .toDF pero obtengo un error:
error: value toDF is not a member of org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]
Intenté definir un esquema de datos de tipo (Int, Int) para testRDD, pero recibo excepciones de falta de coincidencia de tipos:
error: type mismatch;
found : org.apache.spark.rdd.RDD[org.apache.spark.sql.Row]
required: org.apache.spark.rdd.RDD[Data]
val testRDD: RDD[Data] = dataFrame.rdd
^
Ya he importado
import sqlContext.implicits._