Как изменить память на узел для Apache Spark Работник

Я настраиваю кластер Apache Spark.

Когда я запускаю кластер с 1 ведущим и 3 ведомыми, я вижу это на странице главного монитора:

Memory
2.0 GB (512.0 MB Used)
2.0 GB (512.0 MB Used)
6.0 GB (512.0 MB Used)

Я хочу увеличить используемую память для рабочих, но я не мог найти правильный конфиг для этого. я изменилсяspark-env.sh как показано ниже:

export SPARK_WORKER_MEMORY=6g
export SPARK_MEM=6g
export SPARK_DAEMON_MEMORY=6g
export SPARK_JAVA_OPTS="-Dspark.executor.memory=6g"
export JAVA_OPTS="-Xms6G -Xmx6G"

Но используемая память все та же. Что я должен сделать, чтобы изменить используемую память?

Ответы на вопрос(5)

Ваш ответ на вопрос