¿Por qué falla el trabajo de Spark con "demasiados archivos abiertos"?

Recibo "demasiados archivos abiertos" durante la fase aleatoria de mi trabajo en Spark. ¿Por qué mi trabajo abre tantos archivos? ¿Qué pasos puedo tomar para tratar de que mi trabajo tenga éxito?

Respuestas a la pregunta(3)

Su respuesta a la pregunta