Wie Umgebungsvariablen im Cluster-Modus mit spark-submit @ an den Spark-Treiber übergeben werd
spark-submit
ermöglicht die Konfiguration der Executor-Umgebungsvariablen mit--conf spark.executorEnv.FOO=bar
, und die Spark-REST-API ermöglicht die Übergabe einiger Umgebungsvariablen mit demenvironmentVariables
Feld. Leider habe ich nichts Vergleichbares gefunden, um die Umgebungsvariable des Treibers zu konfigurieren, wenn ich den Treiber mit @ abschickspark-submit
im Cluster-Modus:
spark-submit --deploy-mode cluster myapp.jar
Kann man die Umgebungsvariablen des Treibers mit @ setzspark-submit
im Cluster-Modus?