Wie konvertiere ich spark SchemaRDD in RDD meiner Fallklasse?
In den Spark-Dokumenten ist es klar, wie Parkettdateien aus @ erstellt werdeRDD Ihrer eigenen Fallklassen; (aus den Dokumenten)
val people: RDD[Person] = ??? // An RDD of case class objects, from the previous example.
// The RDD is implicitly converted to a SchemaRDD by createSchemaRDD, allowing it to be stored using Parquet.
people.saveAsParquetFile("people.parquet")
Aber nicht klar, wie man zurück konvertiert, wirklich wollen wir eine MethodereadParquetFile wo wir machen können:
val people: RDD[Person] = sc.readParquestFile[Person](path)
Dort, wo die Werte der case-Klasse definiert sind, werden sie von der Methode gelesen.