Как преобразовать DataFrame в набор данных в Apache Spark в Java?
Я могу очень легко конвертировать DataFrame в набор данных в Scala:
case class Person(name:String, age:Long)
val df = ctx.read.json("/tmp/persons.json")
val ds = df.as[Person]
ds.printSchema
но в версии Java я не знаю, как преобразовать Dataframe в набор данных? Любая идея?
мои усилия:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = new Encoder<>();
Dataset<Person> ds = new Dataset<Person>(ctx,df.logicalPlan(),encoder);
ds.printSchema();
но компилятор скажет:
Error:(23, 27) java: org.apache.spark.sql.Encoder is abstract; cannot be instantiated
Отредактированный (решение):решение на основе ответов @ Leet-Falcon:
DataFrame df = ctx.read().json(logFile);
Encoder<Person> encoder = Encoders.bean(Person.class);
Dataset<Person> ds = new Dataset<Person>(ctx, df.logicalPlan(), encoder);