В spark-env.sh, это 'Можно настроить следующие переменные среды:

# - SPARK_WORKER_MEMORY, to set how much memory to use (e.g. 1000m, 2g)
export SPARK_WORKER_MEMORY=22g
[...]
# - SPARK_MEM, to change the amount of memory used per node (this should
#   be in the same format as the JVM's -Xmx option, e.g. 300m or 1g)
export SPARK_MEM=3g

Если я запускаю автономный кластер с этим:

$SPARK_HOME/bin/start-all.sh

На веб-странице Spark Master UI я вижу, что все рабочие запускаются только с 3 ГБ ОЗУ:

-- Workers Memory Column --
22.0 GB (3.0 GB Used)
22.0 GB (3.0 GB Used)
22.0 GB (3.0 GB Used)
[...]

Тем не менее, я указал 22g как SPARK_WORKER_MEMORY в spark-env.shI '

Я несколько смущен этим. Вероятно, я нене понимаю разницу междуузел" а также "работник».

Может кто-нибудь объяснить разницу между двумя настройками памяти и что я мог сделать неправильно?

м с использованием искры-0,7,0. Смотрите такжеВот для получения дополнительной информации о конфигурации.