Como atribuir e usar cabeçalhos de coluna no Spark?
Estou lendo um conjunto de dados como abaixo.
f = sc.textFile("s3://test/abc.csv")
Meu arquivo contém mais de 50 campos e desejo atribuir cabeçalhos de coluna para cada um dos campos para referência posteriormente no meu script.
Como faço isso no PySpark? O DataFrame é o caminho para aqui?
PS - Novato no Spark.