¿Cómo asignar y usar encabezados de columna en Spark?

Estoy leyendo un conjunto de datos como a continuación.

 f = sc.textFile("s3://test/abc.csv")

Mi archivo contiene más de 50 campos y quiero asignar encabezados de columna a cada uno de los campos para hacer referencia más adelante en mi secuencia de comandos.

¿Cómo hago eso en PySpark? ¿Es DataFrame la manera de ir aquí?

PD: Newbie to Spark.

Respuestas a la pregunta(3)

Su respuesta a la pregunta