Requisitos para converter o quadro de dados Spark em quadro de dados Pandas / R

Estou executando o Spark no fio do Hadoop. Como essa conversão funciona? Um collect () ocorre antes da conversão?

Também preciso instalar o Python e o R em todos os nós escravos para que a conversão funcione? Estou lutando para encontrar documentação sobre isso.

questionAnswers(1)

yourAnswerToTheQuestion