hadoop - Conexão recusada no namenode

Pesquisei web e stackoverflow por um longo tempo, mas não foi útil.

Eu instalei o hadoop yarn 2.2.0 na configuração de cluster de 2 nós. mas algo dá errado. quando inicio os daemons do hadoop usando start-dfs.sh e start-yarn.sh no nó mestre, eles são executados com êxito em mestre e escravo (o nome do host do meu mestre é RM e o nome do host do meu escravo é slv). eles podem se trocar com sucesso. mas quando quero executar um trabalho, este erro aparece:

14/01/02 04:22:53 WARN util.NativeCodeLoader: Não foi possível carregar a biblioteca nativo-hadoop para sua plataforma ... usando classes builtin-java onde aplicável 14/01/02 04:22:56 WARN hdfs.DFSClient: Exceção do DataStreamer org.apache.hadoop.ipc.RemoteException (java.io.IOException): O arquivo / usuário / raiz / QuasiMonteCarlo_1388665371850_813553673 / in / part0 só pôde ser replicado para 0 nós em vez de minReplication (= 1). Existem 0 tipos de dados em execução e nenhum nó é excluído nesta operação. em org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget (BlockManager.java:1384) em org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock (FSNamesystem.java:2477) em org.apache .hadoop.hdfs.server.namenode.NameNodeRpcServer.addBlock (NameNodeRpcServer.java:555) em org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSideTranslatorPB.addBlock (ClientNamenodeProtocolServer.java): .proto.ClientNamenodeProtocolProtos $ ClientNamenodeProtocol $ 2.callBlockingMethod (ClientNamenodeProtocolProtos.java:59582) em org.apache.hadoop.ipc.ProtobufRpcEngine $ Server $ ProtoBufRpcInvoker.call: ProtobufRPC. Server.call (RPC.java:928) em org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2048) em org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server. java: 2044) em java.security.AccessController.doPrivileged (método nativo) em javax.security.auth.Subject.doAs (Subject.java:416) em o rg.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1491) em org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2042)

at org.apache.hadoop.ipc.Client.call(Client.java:1347)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:330)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1226)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1078)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:514)

e no log do modo de dados, esse log existe:

2014-01-02 04: 40: 31.616 WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Problema ao conectar-se ao servidor: RM / 192.168.1.101: 9000 2014-01-02 04: 40: 37.618 INFO org. apache.hadoop.ipc.Client: Tentando conectar novamente ao servidor: RM / 192.168.1.101: 9000. Já tentei 0 vezes $ 2014-01-02 04: 40: 38.619 INFO org.apache.hadoop.ipc.Client: Tentando conectar novamente ao servidor: RM / 192.168.1.101: 9000. Já tentei 1 vez (s) $ 2014-01-02 04: 40: 39.620 INFO org.apache.hadoop.ipc.Client: Tentando conectar novamente ao servidor: RM / 192.168.1.101: 9000. Já tentei 2 vezes $ 2014-01-02 04: 40: 40,621 INFO org.apache.hadoop.ipc.Client: Tentando conectar novamente ao servidor: RM / 192.168.1.101: 9000. Já tentei 3 vezes

Eu verifiquei a porta 9000 no nó principal e a saída é esta:

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 10227 / java

Eu acho que o problema é causado pela razão que no nó escravo quando eu

telnet RM 9000

diz

Tentando 192.168.1.101 ... telnet: Não foi possível conectar ao host remoto: Conexão recusada

Contudo

telnet RM

a saída é:

Tentando 192.168.1.101 ... Conectado ao RM. O caractere de escape é '^]'. Logon no Ubuntu 12.04.2 LTS RM:

para informações adicionais, meus / etc / hosts no master e slave são os seguintes:

127.0.0.1 RM | slv localhost

192.168.1.101 RM

192.168.1.103 slv

alguém pode me sugerir uma solução? qualquer ajuda é realmente apreciada. obrigado

questionAnswers(3)

yourAnswerToTheQuestion