Existem 0 tipos de dados em execução e nenhum nó é excluído nesta operação
Eu configurei um cluster Hadoop de vários nós. O NameNode e o Secondenode secundário são executados na mesma máquina e o cluster possui apenas um Datanode. Todos os nós estão configurados nas máquinas Amazon EC2.
A seguir, estão os arquivos de configuração no nó principal:masters
54.68.218.192 (public IP of the master node)
slaves
54.68.169.62 (public IP of the slave node)
core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/datanode</value>
</property>
</configuration>
Agora estão os arquivos de configuração no modo de dados:core-site.xml
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://54.68.218.192:10001</value>
</property>
</configuration>
mapred-site.xml
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>54.68.218.192:10002</value>
</property>
</configuration>
hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/namenode</value>
</property>
<property>
<name>dfs.datanode.name.dir</name>
<value>file:/usr/local/hadoop_store/hdfs/datanode</value>
</property>
</configuration>
os jps executados no Namenode fornecem o seguinte:
5696 NameNode
6504 Jps
5905 SecondaryNameNode
6040 ResourceManager
e jps no modo de dados:
2883 DataNode
3496 Jps
3381 NodeManager
o que para mim parece certo.
Agora, quando tento executar um comando put:
hadoop fs -put count_inputfile /test/input/
Dá-me o seguinte erro:
put: File /count_inputfile._COPYING_ could only be replicated to 0 nodes instead of minReplication (=1). There are 0 datanode(s) running and no node(s) are excluded in this operation.
Os logs no modo de dados dizem o seguinte:
hadoop-datanode log
INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 54.68.218.192/54.68.218.192:10001. Already tried 8 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
log do yarn-nodemanager:
INFO org.apache.hadoop.ipc.Client: Retrying connect to server: 0.0.0.0/0.0.0.0:8031. Already tried 9 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1000 MILLISECONDS)
A interface da web da web do gerenciador de nós (50070) mostra que existem 0 nós ativos e 0 nós mortos e os dfs usados são 100%
Eu também desabilitei o IPV6.
Em alguns sites, descobri que também deveria editar o/etc/hosts
Arquivo. Também os editei e eles ficam assim:
127.0.0.1 localhost
172.31.25.151 ip-172-31-25-151.us-west-2.compute.internal
172.31.25.152 ip-172-31-25-152.us-west-2.compute.internal
Por que ainda estou recebendo o erro?