на

я создаю банку своего приложения Spark и пытаюсь запустить его, используяspark-submitЯ получаю следующую ошибку.

Это команда, которую я использовал для запуска.

spark-submit --executor-memory 1g --jars s3://test-data-lab-users/spachari/test/test_2.10-1.0.jar

Это ошибка, которую я получаю. Означает ли это, что я не передал правильные параметры в свою искру-представить?

Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
    at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:276)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
    at org.apache.spark.launcher.Main.main(Main.java:86)
Command exiting with ret '1'

Ответы на вопрос(1)

Решение Вопроса

ТЛ; др Удалить--jars вариант и начать все сначала.

java.lang.IllegalArgumentException: отсутствует ресурс приложения.

Вы пропустили ... хорошо ... Spark приложение, которое в сообщении называется"ресурс приложения".

Это более очевидно, когда вы выполняетеspark-submit и увидеть различные параметры командной строки и их значения.

./bin/spark-submit
Usage: spark-submit [options] <app jar | python file | R file> [app arguments]

Эта часть<app jar | python file | R file> это то, что вы пропустили.

Чтобы воспроизвести вашу проблему вы можете просто выполнитьspark-submit с участием--jars параметры без указания основной банки или класса приложения Spark.

$ ./bin/spark-submit --jars target/spark-parent_2.11-2.3.0-SNAPSHOT-tests.jar
Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
    at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:274)
    at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
    at org.apache.spark.launcher.Main.main(Main.java:86)

квотированиеspark-submit --help, --jars является...

--jars JARS Разделенный запятыми список jar-файлов для включения в classpath драйвера и исполнителя.

--jars может быть очень полезным, когда приложение Spark зависит от дополнительных файлов JAR (или зависимостей), т.е.mysql-connect.jar что вы не можете (или, скорее всего, не хотите) «собирать» в свой uber jar.

 y2k-shubham30 мая 2018 г., 11:28
Я никогда не пользуюсь--jars (Я прямо указываю путь кJAR), но все же в один прекрасный деньSpark начал давать мне эту ошибку. Преобразование всегоspark-submit команда в одну строку (удалениебэк-слэш а такженовая строка) решил вопрос. Странный. (Spark 2.3.0 наemr-5.13.0)

Ваш ответ на вопрос