Esta pergunta já tem uma resposta aqui:

Apache Spark: definir instâncias do executor não altera os executores 4 respostas

Estou usando 40 escravos r4.2xlarge e um mestre com o mesmo tipo de host. O r4.2xlarge possui 8 núcleos com 61GB de memória.

As configurações fornecidas são:

spark.executor.instances 280spark.executor.cores 1spark.executor.memory 8Gspark.driver.memory 40Gspark.yarn.executor.memoryOverhead 10240spark.dynamicAllocation.enabled false

Ao observar um trabalho em execução com esse cluster em seus Ganglia, o uso geral da CPU é de apenas 30%. e sua tabela "Métricas agregadas por executor" do gerenciador de recursos mostra apenas dois executores por nó escravo.

Por que esse cluster executa apenas dois executores por nó escravo, mesmo com 280 spark.executor.instances?

---- ATUALIZAÇÃO ----

Encontrei o yarn-site.xml em /etc/hadoop/conf.empty

yarn.scheduler.maximum -ocation-mb 54272yarn.scheduler.maximum -ocation-vcores 128yarn.nodemanager.resource.cpu-vcores 8yarn.nodemanager.resource.memory-mb 54272