Vorwärts fehlende Werte in Spark / Python füllen

Ich versuche, fehlende Werte in meinem Spark-Datenframe mit dem vorherigen Nicht-Null-Wert (falls vorhanden) zu füllen. Ich habe so etwas in Python / Pandas gemacht, aber meine Daten sind zu groß für Pandas (auf einem kleinen Cluster) und ich bin Spark Noob. Kann Spark das? Kann es das für mehrere Spalten tun? Wenn das so ist, wie? Wenn nicht, Vorschläge für alternative Ansätze innerhalb der who Hadoop-Toolsuite?

Vielen Dank

Antworten auf die Frage(2)

Ihre Antwort auf die Frage