Spark: prática recomendada para recuperar big data do RDD para a máquina local

Eu tenho grande RDD (1gb) no cluster de fios. Na máquina local, que usa esse cluster, tenho apenas 512 mb. Eu gostaria de repetir os valores no RDD na minha máquina local. Eu não posso usar o collect (), porque ele criaria uma matriz muito grande localmente, mais do que minha pilha. Eu preciso de alguma maneira iterativa. Existe o método iterador (), mas requer algumas informações adicionais, não posso fornecer.

UDP: método toLocalIterator confirmado

questionAnswers(6)

yourAnswerToTheQuestion