Esta pregunta ya tiene una respuesta aquí:

Apache Spark: establecer instancias de ejecutor no cambia los ejecutores 4 respuestas

Estoy usando 40 esclavos r4.2xlarge y un maestro con el mismo tipo de host. r4.2xlarge tiene 8 núcleos con 61 GB de memoria.

La configuración dada es:

spark.executor.instances 280 spark.executor.cores 1 spark.executor.memory 8G spark.driver.memory 40G spark.yarn.executor.memoryOverhead 10240 spark.dynamicAllocation.enabled false

Al observar un trabajo que se ejecuta con este clúster en su Ganglia, el uso general de la CPU es de alrededor del 30% solamente. y su tabla de administrador de recursos "Métricas agregadas por ejecutor" muestra solo dos ejecutores por nodo esclavo.

¿Por qué este clúster ejecuta solo dos ejecutores por nodo esclavo incluso con 280 spark.executor.instances?

---- ACTUALIZACIÓN ----

Encontré yarn-site.xml en /etc/hadoop/conf.empt

yarn.scheduler.maxima-asignación-mb 54272 yarn.scheduler.maxima-asignación-vcores 128 yarn.nodemanager.resource.cpu-vcores 8 yarn.nodemanager.resource.memory-mb 54272