Я начинаю использовать Spark DataFrames, и мне нужно иметь возможность поворачивать данные, чтобы создать несколько столбцов из одного столбца с несколькими строками. В Scalding есть встроенная функциональность, и я верю в Pandas в Python, но я не могу найти ничего для нового Spark Dataframe.

Я предполагаю, что могу написать какую-то пользовательскую функцию, которая будет делать это, но я даже не знаю, с чего начать, тем более, что я новичок в Spark. Кто-нибудь знает, как это сделать с помощью встроенного функционала или предложения о том, как написать что-то в Scala, это очень ценится.