Wie Umgebungsvariablen im Cluster-Modus mit spark-submit @ an den Spark-Treiber übergeben werd

spark-submit ermöglicht die Konfiguration der Executor-Umgebungsvariablen mit--conf spark.executorEnv.FOO=bar, und die Spark-REST-API ermöglicht die Übergabe einiger Umgebungsvariablen mit demenvironmentVariables Feld. Leider habe ich nichts Vergleichbares gefunden, um die Umgebungsvariable des Treibers zu konfigurieren, wenn ich den Treiber mit @ abschickspark-submit im Cluster-Modus:

spark-submit --deploy-mode cluster myapp.jar

Kann man die Umgebungsvariablen des Treibers mit @ setzspark-submit im Cluster-Modus?

Antworten auf die Frage(8)

Ihre Antwort auf die Frage