$ HADOOP_HOME jest przestarzały, Hadoop
Próbowałem zainstalować Hadoop na klastrze z jednym węzłem (mój własny labtop-ubuntu 12.04). Śledziłem ten samouczek i sprawdzałem go dwa razy po linii.http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/
wszystko wydaje się właściwe. Ustawiłem wszystkie core-site.xml, mapred-site.xml, hdfs-site.xml.
kiedy uruchomię następujące polecenie w hduser su:
hduser@maziyar-Lenovo-IdeaPad-U300s:~$ /usr/local/hadoop/usr/sbin/start-all.sh
Dostaję następujące błędy:
Warning: $HADOOP_HOME is deprecated.
starting namenode, logging to /usr/local/hadoop/usr/libexec/../logs/hadoop-hduser-namenode-maziyar-Lenovo-IdeaPad-U300s.out
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/slaves: No such file or directory
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/masters: No such file or directory
starting jobtracker, logging to /usr/local/hadoop/usr/libexec/../logs/hadoop-hduser-jobtracker-maziyar-Lenovo-IdeaPad-U300s.out
cat: /usr/local/hadoop/usr/libexec/../etc/hadoop/slaves: No such file or directory
Dodałem eksport HADOOP_HOME_WARN_SUPPRESS = "TRUE" do hadoop-env.sh i nadal ten sam błąd.
W pliku /home/hduser/.bashrc, gdzie domyślam się, że mój błąd pochodzi z I, mam:
# Set Hadoop-related environment variables
export HADOOP_HOME=/usr/local/hadoop
# Set JAVA_HOME (we will also configure JAVA_HOME directly for Hadoop later on)
export JAVA_HOME=/usr/lib/jvm/jdk-7u10-linuxi586/usr/java/jdk1.7.0_10
# Some convenient aliases and functions for running Hadoop-related commands
unalias fs &> /dev/null
alias fs="hadoop fs"
unalias hls &> /dev/null
alias hls="fs -ls"
# If you have LZO compression enabled in your Hadoop cluster and
# compress job outputs with LZOP (not covered in this tutorial):
# Conveniently inspect an LZOP compressed file from the command
# line; run via:
#
# $ lzohead /hdfs/path/to/lzop/compressed/file.lzo
#
# Requires installed 'lzop' command.
#
lzohead () {
hadoop fs -cat $1 | lzop -dc | head -1000 | less
}
# Add Hadoop bin/ directory to PATH
export PATH=$PATH:$HADOOP_HOME/usr/sbin
Dodałem / usr / sbin jako katalog bin, ponieważ start-all.sh i polecenia tam są.
Próbowałem także „HADOOP_PREFIX” zamiast „HADOOP_HOME” w pliku bashrc, ale nadal występował ten sam błąd.
Mam te foldery w moim katalogu hadoop,
maziyar@maziyar-Lenovo-IdeaPad-U300s:/usr/local/hadoop$ ls -lha
total 20K
drwxr-xr-x 5 hduser hadoop 4.0K May 30 15:25 .
drwxr-xr-x 12 root root 4.0K May 30 15:25 ..
drwxr-xr-x 4 hduser hadoop 4.0K May 30 15:25 etc
drwxr-xr-x 12 hduser hadoop 4.0K Jun 4 21:29 usr
drwxr-xr-x 4 hduser hadoop 4.0K May 30 15:25 var
Pobrałem najnowszą wersję apache-hadoop w zeszłym tygodniu: hadoop-1.1.2-1.i386.rpm