Я использую Spark с MongoDB, и поэтому полагаюсь наmongo-hadoop водители. У меня все работает благодаря вкладу в мой оригинальный вопросВот.

Моя работа Spark выполняется, однако я получаю предупреждения, которые не понимаю. Когда я запускаю эту команду

$SPARK_HOME/bin/spark-submit --driver-class-path /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar:/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar --jars /usr/local/share/mongo-hadoop/build/libs/mongo-hadoop-1.5.0-SNAPSHOT.jar:/usr/local/share/mongo-hadoop/spark/build/libs/mongo-hadoop-spark-1.5.0-SNAPSHOT.jar my_application.py

это работает, но выдает мне следующее предупреждающее сообщение

Предупреждение. Локальный файл jar hadoop-spark-1.5.0-SNAPSHOT.jar не существует, пропуская.

Когда я пытался заставить это работать, если бы я пропустил эти пути при отправке задания, оно вообще не запустилось. Теперь, однако, если я пропущу эти пути, он работает

$SPARK_HOME/bin/spark-submit  my_application.py

Может кто-нибудь объяснить, что здесь происходит? Я просмотрел похожие вопросы, ссылаясь на то же предупреждение, и просмотрел документацию.

Задавая параметры один раз, они сохраняются как переменные окружения или как? Я рад, что это работает, но опасаюсь, что я не до конца понимаю, почему, а иногда нет.