So ändern Sie den Speicher pro Knoten für Apache Spark Worker
Ich konfiguriere einen Apache Spark-Cluster.
Wenn ich den Cluster mit 1 Master und 3 Slaves ausführe, wird dies auf der Master-Monitorseite angezeigt:
Memory
2.0 GB (512.0 MB Used)
2.0 GB (512.0 MB Used)
6.0 GB (512.0 MB Used)
Ich möchte den verwendeten Arbeitsspeicher für die Worker erhöhen, konnte jedoch nicht die richtige Konfiguration dafür finden. ich habe mich verändertspark-env.sh wie nachstehend:
export SPARK_WORKER_MEMORY=6g
export SPARK_MEM=6g
export SPARK_DAEMON_MEMORY=6g
export SPARK_JAVA_OPTS="-Dspark.executor.memory=6g"
export JAVA_OPTS="-Xms6G -Xmx6G"
Der verwendete Speicher ist jedoch immer noch derselbe. Was kann ich tun, um den verwendeten Speicher zu ändern?