Почему работа Spark терпит неудачу с «слишком большим количеством открытых файлов»?

Я получаю «слишком много открытых файлов» во время случайной фазы моей работы Spark. Почему моя работа открывает столько файлов? Какие шаги я могу предпринять, чтобы добиться успеха в моей работе.