Como alterar a memória por nó para o trabalhador apache spark

Estou configurando um cluster Apache Spark.

Quando executo o cluster com 1 mestre e 3 escravos, vejo isso na página do monitor mestre:

Memory
2.0 GB (512.0 MB Used)
2.0 GB (512.0 MB Used)
6.0 GB (512.0 MB Used)

Quero aumentar a memória usada para os trabalhadores, mas não consegui encontrar a configuração correta para isso. eu mudeispark-env.sh como abaixo:

export SPARK_WORKER_MEMORY=6g
export SPARK_MEM=6g
export SPARK_DAEMON_MEMORY=6g
export SPARK_JAVA_OPTS="-Dspark.executor.memory=6g"
export JAVA_OPTS="-Xms6G -Xmx6G"

Mas a memória usada ainda é a mesma. O que devo fazer para alterar a memória usada?

questionAnswers(5)

yourAnswerToTheQuestion