Dies sind unsere ersten Schritte mit Big Data wie Apache Spark und Hadoop.

Wir haben eine Cloudera CDH 5.3 installiert. Vom Cloudera-Manager entscheiden wir uns, Funken zu installieren. Spark läuft auf einem der Knoten im Cluster sehr gut.

uf meinem Computer habe ich eine kleine Anwendung erstellt, mit der eine auf hadoop HDFS gespeicherte Textdatei gelesen werden kan

Ich versuche, die Anwendung über Eclipse auszuführen, und diese Meldungen werden angezeigt.

15/02/11 14:44:01 INFO client.AppClient$ClientActor: Connecting to master spark://10.62.82.21:7077... 15/02/11 14:44:02 WARN client.AppClient$ClientActor: Could not connect to akka.tcp://[email protected]:7077: akka.remote.InvalidAssociation: Invalid address: ,akka.tcp://[email protected]:7077 15/02/11 14:44:02 WARN Remoting: Tried to associate with unreachable remote address [akka.tcp://[email protected]:7077]. Address is now gated for 5000 ms, all messages to this address will be delivered to dead letters. Reason: Connection refused: no further information: /10.62.82.21:7077

Die Anwendung hat eine Klasse, um einen Kontext mit der folgenden Zeile zu erstellen

JavaSparkContext sc = new JavaSparkContext(new SparkConf().setAppName("Spark Count").setMaster("spark://10.62.82.21:7077"));

wobei diese IP die IP des Maschinenfunks ist, an dem gearbeitet wird.

Dann versuche ich, eine Datei aus HDFS mit der folgenden Zeile zu lesen

sc.textFile("hdfs://10.62.82.21/tmp/words.txt")

Wenn ich die Anwendung starte, erhalte ich das