Искры на YARN тоже меньше использовались

Я использую Spark в кластере YARN (HDP 2.4) со следующими настройками:

1 Мастернод64 ГБ ОЗУ (можно использовать 50 ГБ)24 ядра (19 ядер)5 Славенодов64 ГБ ОЗУ (можно использовать 50 ГБ)24 ядра (19 используемых) каждыйНастройки YARNпамять всех контейнеров (одного хоста): 50 ГБминимальный размер контейнера = 2 ГБмаксимальный размер контейнера = 50 ГБvcores = 19минимум # vcores / container = 1максимум # vcores / container = 19

Когда я запускаю свое искровое приложение с помощью командыspark-submit --num-executors 30 --executor-cores 3 --executor-memory 7g --driver-cores 1 --driver-memory 1800m ... YARN создает 31 контейнер (по одному для каждого процесса исполнителя + один процесс драйвера) со следующими настройками:

Правильный: Главный контейнер с 1 ядром и ~ 1800 МБ ОЗУПравильный: 30 подчиненных контейнеров с ~ 7 ГБ ОЗУ каждыйНО НЕПРАВИЛЬНО: каждый подчиненный контейнер работает только с1 ядро вместо 3, согласно пользовательскому интерфейсу YARN ResourceManager (он показывает только 31 из 95 в использовании, вместо 91 = 30 * 3 + 1), см. скриншот ниже

Мой вопрос здесь: почемуspark-submit параметр--executor-cores 3 не иметь эффекта?

Ответы на вопрос(2)

Ваш ответ на вопрос