Como alterar a memória por nó para o trabalhador apache spark
Estou configurando um cluster Apache Spark.
Quando executo o cluster com 1 mestre e 3 escravos, vejo isso na página do monitor mestre:
Memory
2.0 GB (512.0 MB Used)
2.0 GB (512.0 MB Used)
6.0 GB (512.0 MB Used)
Quero aumentar a memória usada para os trabalhadores, mas não consegui encontrar a configuração correta para isso. eu mudeispark-env.sh como abaixo:
export SPARK_WORKER_MEMORY=6g
export SPARK_MEM=6g
export SPARK_DAEMON_MEMORY=6g
export SPARK_JAVA_OPTS="-Dspark.executor.memory=6g"
export JAVA_OPTS="-Xms6G -Xmx6G"
Mas a memória usada ainda é a mesma. O que devo fazer para alterar a memória usada?