Искры на YARN тоже меньше использовались
Я использую Spark в кластере YARN (HDP 2.4) со следующими настройками:
1 Мастернод64 ГБ ОЗУ (можно использовать 50 ГБ)24 ядра (19 ядер)5 Славенодов64 ГБ ОЗУ (можно использовать 50 ГБ)24 ядра (19 используемых) каждыйНастройки YARNпамять всех контейнеров (одного хоста): 50 ГБминимальный размер контейнера = 2 ГБмаксимальный размер контейнера = 50 ГБvcores = 19минимум # vcores / container = 1максимум # vcores / container = 19Когда я запускаю свое искровое приложение с помощью командыspark-submit --num-executors 30 --executor-cores 3 --executor-memory 7g --driver-cores 1 --driver-memory 1800m ...
YARN создает 31 контейнер (по одному для каждого процесса исполнителя + один процесс драйвера) со следующими настройками:
Мой вопрос здесь: почемуspark-submit
параметр--executor-cores 3
не иметь эффекта?