Estoy empezando a usar Spark DataFrames y necesito poder pivotar los datos para crear múltiples columnas de 1 columna con múltiples filas. Existe una funcionalidad integrada para eso en Scalding y creo en Pandas en Python, pero no puedo encontrar nada para el nuevo Spark Dataframe.

Supongo que puedo escribir una función personalizada de algún tipo que haga esto, pero ni siquiera estoy seguro de cómo comenzar, especialmente porque soy un novato con Spark. Si alguien sabe cómo hacer esto con la funcionalidad integrada o sugerencias sobre cómo escribir algo en Scala, es muy apreciado.