Generar un Spark StructType / Schema a partir de una clase de caso
Si quisiera crear unStructType
(es decir, unDataFrame.schema
) de uncase class
, ¿hay alguna manera de hacerlo sin crear unDataFrame
? Puedo hacer fácilmente:
case class TestCase(id: Long)
val schema = Seq[TestCase]().toDF.schema
Pero parece excesivo crear realmente unDataFrame
cuando todo lo que quiero es el esquema.
(Si tiene curiosidad, la razón detrás de la pregunta es que estoy definiendo unUserDefinedAggregateFunction
, y para hacerlo, anula un par de métodos que devuelvenStructTypes
y uso clases de casos)