от вопрос уже есть ответ здесь:

Apache Spark: установка экземпляров исполнителей не меняет исполнителей 4 ответа

Я использую 40 r4.2xlarge рабов и один мастер с хостом того же типа. r4.2xlarge имеет 8 ядер с 61 ГБ памяти.

Данные настройки:

spark.executor.instances 280spark.executor.cores 1spark.executor.memory 8Gspark.driver.memory 40Gspark.yarn.executor.memoryOverhead 10240spark.dynamicAllocation.enabled false

При наблюдении за работой, выполняемой с этим кластером в его Ganglia, общее использование процессора составляет всего около 30%. и его таблица менеджера ресурсов «Агрегированные показатели по исполнителю» показывает только двух исполнителей на подчиненный узел.

Почему этот кластер запускает только два исполнителя на каждом подчиненном узле даже с 280 spark.executor.instances?

---- ОБНОВИТЬ ----

Я нашел файл yarn-site.xml в /etc/hadoop/conf.empty

yarn.scheduler.maximum-selection-mb 54272yarn.scheduler.maximum-selection-vcores 128yarn.nodemanager.resource.cpu-vcores 8yarn.nodemanager.resource.memory-mb 54272