pyspark: o objeto 'PipelinedRDD' não é iterável
Estou recebendo esse erro, mas não sei por que. Basicamente, estou com erro neste código:
a = data.mapPartitions(helper(locations))
onde dados são um RDD e meu ajudante é definido como:
def helper(iterator, locations):
for x in iterator:
c = locations[x]
yield c
(locais é apenas uma matriz de pontos de dados) Eu não vejo qual é o problema, mas também não sou o melhor no pyspark, então alguém pode me dizer por que estou recebendo o objeto 'PipelinedRDD' não é iterável a partir desse código?