Problema de transmissão do Spark Kafka
Estou usando maven
eu adicionei as seguintes dependências
<dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.10</artifactId>
<version>1.1.0</version>
</dependency> <dependency> <!-- Spark dependency -->
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming-kafka_2.10</artifactId>
<version>1.1.0</version>
</dependency>
Eu também adicionei o jar no código
SparkConf sparkConf = new SparkConf().setAppName("KafkaSparkTest");
JavaSparkContext sc = new JavaSparkContext(sparkConf);
sc.addJar("/home/test/.m2/repository/org/apache/spark/spark-streaming-kafka_2.10/1.0.2/spark-streaming-kafka_2.10-1.0.2.jar");
JavaStreamingContext jssc = new JavaStreamingContext(sc, new Duration(5000));
Ele é compatível com qualquer erro, estou recebendo o seguinte erro quando executo o envio de spark, qualquer ajuda é muito apreciada. Obrigado pelo seu tempo.
bin/spark-submit --class "KafkaSparkStreaming" --master local[4] try/simple-project/target/simple-project-1.0.jar
Exceção no encadeamento "main" java.lang.NoClassDefFoundError: org / apache / spark / streaming / kafka / KafkaUtils em KafkaSparkStreaming.sparkStreamingTest (KafkaSparkStreaming.java:40) em KafkaSparkStreaming.main (KafkaSparkStreaming.java. NativeMethodAccessorImpl.invoke0 (método nativo) em sun.reflect.NativeMethodAccessorImpl.invoke (NativeMethodAccessorImpl.java:57) em sun.reflect.DelegatingMethodAccessorImpl.invoke (DelegatingMethodAccessorImpl.java.java.java. java: 606) em org.apache.spark.deploy.SparkSubmit $ .launch (SparkSubmit.scala: 303) em org.apache.spark.deploy.SparkSubmit $ .main (SparkSubmit.scala: 55) em org.apache.spark .deploy.SparkSubmit.main (SparkSubmit.scala) Causado por: java.lang.ClassNotFoundException: org.apache.spark.streaming.kafka.KafkaUtils em java.net.URLClassLoader $ 1.run (URLClassLoader.java:366)