Spark: Spalte bedingt zu Datenrahmen hinzufügen
Ich versuche meine Eingabedaten zu übernehmen:
A B C
--------------
4 blah 2
2 3
56 foo 3
Und fügen Sie am Ende eine Spalte hinzu, je nachdem, ob B leer ist oder nicht:
A B C D
--------------------
4 blah 2 1
2 3 0
56 foo 3 1
Ich kann dies leicht tun, indem ich den Eingabedatenrahmen als temporäre Tabelle registriere und dann eine SQL-Abfrage eingebe.
Aber ich würde wirklich gerne wissen, wie dies nur mit Scala-Methoden gemacht wird und keine SQL-Abfrage in Scala eingegeben werden muss.
Ich habe es versucht.withColumn, aber ich kann das nicht dazu bringen, das zu tun, was ich will.