Estou começando a usar o Spark DataFrames e preciso poder dinamizar os dados para criar várias colunas de uma coluna com várias linhas. Existe funcionalidade embutida para isso no Scalding e acredito no Pandas em Python, mas não consigo encontrar nada para o novo Spark Dataframe.

Suponho que posso escrever uma função personalizada de algum tipo que faça isso, mas não tenho certeza de como começar, principalmente porque sou iniciante no Spark. Eu alguém sabe como fazer isso com funcionalidade interna ou sugestões de como escrever algo no Scala, é muito apreciado.