Beispiel für Hadoop WordCount - Bei Hadoop (Eclipse) ausführen fordert nicht zur Ausführung auf Wählen Sie den Hadoop-Server für das Fenster aus
Ich versuche, ein Beispiel für die Wortzählung auszuführenFinsternis. Wenn wir in Eclipse auf "run on hadoop" klicken, wird in der Regel ein neues Fenster angezeigt, in dem Sie aufgefordert werden, den Serverstandort auszuwählen. Jetzt wird das Programm jedoch direkt ausgeführt, ohne dass ich aufgefordert werde, einen vorhandenen Server aus der folgenden Liste auszuwählen.
Ich denke aus diesem Grund erhalte ich die folgende Ausnahme:
13/04/21 08:46:31 ERROR security.UserGroupInformation: PriviledgedActionException as:hduser1 cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt
Exception in thread "main" org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: file:/home/hduser1/gutenbergIP/pg4300.txt
Mein Code funktioniert, wenn ich die Zeile ändere von:
FileInputFormat.setInputPaths(conf, "/home/hduser1/gutenbergIP/pg4300.txt");
zu:
FileInputFormat.setInputPaths(conf, "hdfs://localhost:54310/home/hduser1/gutenbergIP/pg4300.txt");
Wenn ich den Dateinamen explizit mit vollständiger URL angabe, funktioniert es. Ich wollte etwas Hilfe dazu. Wie kann ich dafür sorgen, dass meine relative URL funktioniert, anstatt eine vollständige URL anzugeben (dies muss als Aufgabe in der Schule eingereicht werden)?