Как установить classpath для Java-программы в файловой системе hadoop
Я пытаюсь выяснить, как установить путь к классу, который ссылается на HDFS? Я не могу найти ссылку.
java -cp "how to reference to HDFS?" com.MyProgram
Если я не могу сослаться на файловую систему hadoop, то мне нужно скопировать все упомянутые сторонние libs / jars где-то под $ HADOOP_HOME на каждую машину hadoop ... но я хочу избежать этого, поместив файлы в файловую систему hadoop. Это возможно?
Пример командной строки hadoop для запуска программы (мои ожидания таковы, возможно я ошибаюсь):
hadoop jar $HADOOP_HOME/contrib/streaming/hadoop-streaming-1.0.3.jar -input inputfileDir -output outputfileDir -mapper /home/nanshi/myprog.java -reducer NONE -file /home/nanshi/myprog.java
Тем не менее, в командной строке выше, как я добавил путь к классу Java? лайк -cp & quot; /home/nanshi/wiki/Lucene/lib/lucene-core-3.6.0.jar: / home / nanshi / Lucene / bin & quot;