Cómo cambiar la memoria por nodo para apache spark worker
Estoy configurando un clúster Apache Spark.
Cuando ejecuto el clúster con 1 maestro y 3 esclavos, veo esto en la página del monitor maestro:
Memory
2.0 GB (512.0 MB Used)
2.0 GB (512.0 MB Used)
6.0 GB (512.0 MB Used)
Quiero aumentar la memoria utilizada para los trabajadores, pero no pude encontrar la configuración correcta para esto. he cambiadospark-env.sh como a continuación:
export SPARK_WORKER_MEMORY=6g
export SPARK_MEM=6g
export SPARK_DAEMON_MEMORY=6g
export SPARK_JAVA_OPTS="-Dspark.executor.memory=6g"
export JAVA_OPTS="-Xms6G -Xmx6G"
Pero la memoria utilizada sigue siendo la misma. ¿Qué debo hacer para cambiar la memoria usada?