¿Cómo asignar y usar encabezados de columna en Spark?
Estoy leyendo un conjunto de datos como a continuación.
f = sc.textFile("s3://test/abc.csv")
Mi archivo contiene más de 50 campos y quiero asignar encabezados de columna a cada uno de los campos para hacer referencia más adelante en mi secuencia de comandos.
¿Cómo hago eso en PySpark? ¿Es DataFrame la manera de ir aquí?
PD: Newbie to Spark.