Как назначить и использовать заголовки столбцов в Spark?
Я читаю набор данных, как показано ниже.
f = sc.textFile("s3://test/abc.csv")
Мой файл содержит более 50 полей, и я хочу назначить заголовки столбцов для каждого из полей, чтобы ссылаться позже в моем сценарии.
Как мне это сделать в PySpark? Является ли DataFrame способом пойти сюда?
PS - Новичок в Искру.