Greifen Sie über udf auf die hdfs-Datei zu
Ich möchte über meinen udf-Aufruf auf eine Datei zugreifen. Das ist mein Drehbuch:
files = LOAD '$docs_in' USING PigStorage(';') AS (id, stopwords, id2, file);
buzz = FOREACH files GENERATE pigbuzz.Buzz(file, id) as file:bag{(year:chararray, word:chararray, count:long)};
Das Glas ist registriert. Der Pfad ist direkt zu meinem hdfs, wo die Dateien wirklich existieren. Der Anruf wird getätigt. Aber es scheint, dass die Datei nicht entdeckt wird. Möglicherweise weil ich versuche, auf die Akte auf hdfs zurückzugreifen.
Wie kann ich über meinen UDF-Java-Aufruf auf eine Datei in hdfs zugreifen?