No importa cuánto juegue con la configuración enyarn-site.xml es decir, usar todas las opciones a continuación

yarn.scheduler.minimum-allocation-vcores
yarn.nodemanager.resource.memory-mb
yarn.nodemanager.resource.cpu-vcores
yarn.scheduler.maximum-allocation-mb
yarn.scheduler.maximum-allocation-vcores

Todavía no puedo obtener mi aplicación, es decir, Spark para utilizar todos los núcleos en el clúster. Los ejecutores de chispa parecen estar ocupando correctamente toda la memoria disponible, pero cada ejecutor sigue tomando un solo núcleo y nada más.

Aquí están las opciones configuradas enspark-defaults.conf

spark.executor.cores                    3
spark.executor.memory                   5100m
spark.yarn.executor.memoryOverhead      800
spark.driver.memory                     2g
spark.yarn.driver.memoryOverhead        400
spark.executor.instances                28
spark.reducer.maxMbInFlight             120
spark.shuffle.file.buffer.kb            200

Darse cuenta despark.executor.cores está establecido en 3, pero no funciona. ¿Cómo puedo solucionar esto?