Wie wird der DataFrame gedreht?

Ich fange an, Spark DataFrames zu verwenden, und ich muss in der Lage sein, die Daten zu schwenken, um mehrere Spalten aus einer Spalte mit mehreren Zeilen zu erstellen. In Scalding ist dafür eine integrierte Funktionalität vorhanden, und ich glaube an Pandas in Python, aber für den neuen Spark Dataframe kann ich nichts finden.

Ich nehme an, ich kann irgendeine benutzerdefinierte Funktion schreiben, die dies erledigt, aber ich bin mir nicht einmal sicher, wie ich anfangen soll, zumal ich ein Anfänger bei Spark bin. Wenn jemand weiß, wie man das mit eingebauten Funktionen oder Vorschlägen zum Schreiben in Scala macht, wird es sehr geschätzt.