Eu sou novo no Spark e estou tentando ler dados CSV de um arquivo com o Spark. Aqui está o que estou fazendo:

sc.textFile('file.csv')
    .map(lambda line: (line.split(',')[0], line.split(',')[1]))
    .collect()

Espero que esta chamada me forneça uma lista das duas primeiras colunas do meu arquivo, mas estou recebendo este erro:

File "<ipython-input-60-73ea98550983>", line 1, in <lambda>
IndexError: list index out of range

embora meu arquivo CSV seja mais de uma coluna.