Ich habe installiertZeppeli, auf meinem aws EC2-Computer, um eine Verbindung zu meinem Spark-Cluster herzustellen.

Spark Version: Standalone: spark-1.2.1-bin-hadoop1.tgz

Ich kann eine Verbindung zum Spark-Cluster herstellen, erhalte jedoch die folgende Fehlermeldung, wenn ich versuche, in meinem Anwendungsfall auf die Datei in S3 zuzugreifen.

Code

    sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "YOUR_KEY_ID")
    sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey","YOUR_SEC_KEY")
    val file = "s3n://<bucket>/<key>"
    val data = sc.textFile(file)
    data.count


file: String = s3n://<bucket>/<key>
data: org.apache.spark.rdd.RDD[String] = s3n://<bucket>/<key> MappedRDD[1] at textFile at <console>:21
ava.lang.NoSuchMethodError: org.jets3t.service.impl.rest.httpclient.RestS3Service.<init>(Lorg/jets3t/service/security/AWSCredentials;)V
    at org.apache.hadoop.fs.s3native.Jets3tNativeFileSystemStore.initialize(Jets3tNativeFileSystemStore.java:55)
    at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
    at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
    at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
    at java.lang.reflect.Method.invoke(Method.java:606)
    at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)

Ich habe den Zeppelin mit folgendem Befehl erstellt:

mvn clean package -Pspark-1.2.1 -Dhadoop.version=1.0.4 -DskipTests

wenn ich versuche, ein Hadoop-Profil "-Phadoop-1.0.4" zu erstellen, wird gewarnt, dass es nicht existiert.

Ich habe auch versucht -Phadoop-1 in @ erwähDie Spark-Website. habe aber den gleichen fehler bekommen. 1.x bis 2.1.x hadoop-1

Bitte lassen Sie mich wissen, was ich hier vermisse.