Почему ноутбук Zeppelin не может подключиться к S3
Я установилдирижабль, на моей машине AWS EC2 для подключения к моей свече кластера.
Версия Spark: Автономный: spark-1.2.1-bin-hadoop1.tgz
Я могу подключиться к кластеру искры, но получаю следующую ошибку при попытке доступа к файлу в S3 в моем сценарии использования.
Код:
sc.hadoopConfiguration.set("fs.s3n.awsAccessKeyId", "YOUR_KEY_ID")
sc.hadoopConfiguration.set("fs.s3n.awsSecretAccessKey","YOUR_SEC_KEY")
val file = "s3n://<bucket>/<key>"
val data = sc.textFile(file)
data.count
file: String = s3n://<bucket>/<key>
data: org.apache.spark.rdd.RDD[String] = s3n://<bucket>/<key> MappedRDD[1] at textFile at <console>:21
ava.lang.NoSuchMethodError: org.jets3t.service.impl.rest.httpclient.RestS3Service.<init>(Lorg/jets3t/service/security/AWSCredentials;)V
at org.apache.hadoop.fs.s3native.Jets3tNativeFileSystemStore.initialize(Jets3tNativeFileSystemStore.java:55)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:606)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:85)
Я построил Zeppelin с помощью следующей команды:
mvn clean package -Pspark-1.2.1 -Dhadoop.version=1.0.4 -DskipTests
когда я пытаюсь собрать профиль hadoop "-Phadoop-1.0.4", он предупреждает, что его не существует.
Я также пробовал -Phadoop-1, упомянутый вэтот сайт искры. но получил ту же ошибку.1.x до 2.1.x hadoop-1
Пожалуйста, дайте мне знать, что мне здесь не хватает.