Ich verwende Spark mit MongoDB und verlasse mich daher auf diemongo-hadoop Fahrer. Ich habe die Dinge zum Laufen gebracht, dank der Eingabe meiner ursprünglichen FrageHie.

Mein Spark-Job wird ausgeführt. Ich erhalte jedoch Warnungen, die ich nicht verstehe. Wenn ich diesen Befehl ausführe

$SPARK_HOME/bin/spark-submit --driver-class-path /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar:/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar --jars /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar:/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar my_application.py

es funktioniert, gibt mir aber die folgende Warnmeldung

Warning: Local jar /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar:/usr/local/share/mongo-hadoop/spark/build/libs/mongo -hadoop-spark-1.5.0-SNAPSHOT.jar existiert nicht und wird übersprungen.

Wenn ich versucht habe, dies zum Laufen zu bringen, würde es überhaupt nicht funktionieren, wenn ich diese Pfade beim Übergeben des Jobs weglasse. Wenn ich jedoch diese Pfade weglasse, läuft es

$SPARK_HOME/bin/spark-submit  my_application.py

Kann jemand erklären, was hier los ist? Ich habe ähnliche Fragen unter Bezugnahme auf dieselbe Warnung durchgesehen und die Dokumentation durchsucht.

Bei einmaligem Einstellen der Optionen werden diese als Umgebungsvariablen gespeichert oder so? Ich bin froh, dass es funktioniert, aber vorsichtig, dass ich manchmal nicht ganz verstehe, warum und nicht andere.