Я использую Maven

я добавил следующие зависимости

   <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming_2.10</artifactId>
      <version>1.1.0</version>
    </dependency>   <dependency> <!-- Spark dependency -->
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-streaming-kafka_2.10</artifactId>
      <version>1.1.0</version>
    </dependency>

Я также добавил банку в коде

SparkConf sparkConf = new SparkConf().setAppName("KafkaSparkTest");
JavaSparkContext sc = new JavaSparkContext(sparkConf);
sc.addJar("/home/test/.m2/repository/org/apache/spark/spark-streaming-kafka_2.10/1.0.2/spark-streaming-kafka_2.10-1.0.2.jar");
JavaStreamingContext jssc = new JavaStreamingContext(sc, new Duration(5000)); 

Это прекрасно с любой ошибкой, я получаю следующую ошибку, когда я запускаю через spark-submit, любая помощь очень ценится. Спасибо за ваше время.

bin/spark-submit --class "KafkaSparkStreaming" --master local[4] try/simple-project/target/simple-project-1.0.jar

Исключение в потоке "main": java.lang.NoClassDefFoundError: org / apache / spark / streaming / kafka / KafkaUtils в KafkaSparkStreaming.sparkStreamingTest (KafkaSparkStreaming.java:40) в KafkaSparkStreaming.main: Kafka. NativeMethodAccessorImpl.invoke0 (родной метод) в sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) в sun.reflect.DelegatingMethodAccessorImpl.invoke (methodava.tho.jj.jj Java: 606) в org.apache.spark.deploy.SparkSubmit $ .launch (SparkSubmit.scala: 303) в org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 55) в org.apache.spark .deploy.SparkSubmit.main (SparkSubmit.scala) Причина: java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaUtils на java.net.URLClassLoader $ 1.run (URLClassLoader.java:366)