У меня есть приложение Apache Spark, работающее в кластере YARN (в этом кластере есть 3 узла), в режиме кластера.

Когда приложение работает, Spark-UI показывает, что 2 исполнителя (каждый работает на своем узле) и драйвер работают на третьем узле. Я хочу, чтобы приложение использовало больше исполнителей, поэтому я попытался добавить аргумент --num-executors к Spark-submit и установить его равным 6.

spark-submit --driver-memory 3G --num-executors 6 --class main.Application --executor-memory 11G --master yarn-cluster myJar.jar <arg1> <arg2> <arg3> ...

Однако количество исполнителей остается 2.

В интерфейсе spark я вижу, что параметр spark.executor.instances равен 6, как я и предполагал, и почему-то осталось только 2 исполнителя.

Я даже пытался установить этот параметр из кода

sparkConf.set("spark.executor.instances", "6")

Опять же, я вижу, что параметр был установлен на 6, но все еще есть только 2 исполнителя.

Кто-нибудь знает, почему я не смог увеличить количество своих исполнителей?

yarn.nodemanager.resource.memory-mb составляет 12 г в yarn-site.xml