Wie werden Spaltenüberschriften in Spark zugewiesen und verwendet?
Ich lese einen Datensatz wie unten.
f = sc.textFile("s3://test/abc.csv")
Meine Datei enthält über 50 Felder und ich möchte Spaltenüberschriften für jedes der Felder zuweisen, auf die später in meinem Skript verwiesen wird.
Wie mache ich das in PySpark? Ist DataFrame die richtige Wahl?
PS - Newbie to Spark.