Por que o envio de spark falha com "IllegalArgumentException: falta de recurso do aplicativo"?
Quando crio o jar do meu aplicativo Spark e tento executá-lo usandospark-submit
, Eu estou recebendo o seguinte erro.
Este é o comando que eu costumava executar.
spark-submit --executor-memory 1g --jars s3://test-data-lab-users/spachari/test/test_2.10-1.0.jar
Este é o erro que estou recebendo. Isso significa que não passei os parâmetros corretos no meu envio de faísca?
Exception in thread "main" java.lang.IllegalArgumentException: Missing application resource.
at org.apache.spark.launcher.CommandBuilderUtils.checkArgument(CommandBuilderUtils.java:241)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitArgs(SparkSubmitCommandBuilder.java:160)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildSparkSubmitCommand(SparkSubmitCommandBuilder.java:276)
at org.apache.spark.launcher.SparkSubmitCommandBuilder.buildCommand(SparkSubmitCommandBuilder.java:151)
at org.apache.spark.launcher.Main.main(Main.java:86)
Command exiting with ret '1'