Por que o trabalho do Spark falha com "muitos arquivos abertos"?

Eu recebo "muitos arquivos abertos" durante a fase aleatória do meu trabalho no Spark. Por que meu trabalho está abrindo tantos arquivos? Que medidas posso tomar para tentar tornar meu trabalho bem-sucedido?

questionAnswers(3)

yourAnswerToTheQuestion