Я долго искал web и stackoverflow, но это было бесполезно.

Я установил Hadoop Yarn 2.2.0 в настройке кластера 2 узла. но что-то идет не так. когда я запускаю демоны hadoop, используя start-dfs.sh и start-yarn.sh на главном узле, они успешно работают на главном и подчиненном устройствах (имя хоста моего мастера - RM, а имя моего ведомого - slv). они могут успешно соединиться друг с другом. но когда я хочу запустить работу, появляется эта ошибка:

14/01/02 04:22:53 WARN util.NativeCodeLoader: Невозможно загрузить библиотеку native-hadoop для вашей платформы ... с использованием встроенных java-классов, где это применимо 14/01/02 04:22:56 WARN hdfs.DFSClient: Исключение DataStreamer org.apache.hadoop.ipc.RemoteException (java.io.IOException): файл / пользователь / root / QuasiMonteCarlo_1388665371850_813553673 / in / part0 можно было реплицировать только на 0 узлов вместо minReplication (= 1). Работает 0 датоде (ов), и ни один из узлов не исключен в этой операции. в org.apache.hadoop.hdfs.server.blockmanagement.BlockManager.chooseTarget (BlockManager.java:1384) в org.apache.hadoop.hdfs.server.namenode.FSNamesystem.getAdditionalBlock (FSNamesystem.java:2477) в org.apache .hadoop.hdfs.server. С Server.call (RPC.java:928) в org.apache.hadoop.ipc.Server $ Handler $ 1.run (Server.java:2048) в org.apache.hadoop.ipc.Server $ Handler $ 1.run (Сервер. Java: 2044) в java.security.AccessController.doPrivileged (собственный метод) в javax.security.auth.Subject.doAs (Subject.java:416) в o rg.apache.hadoop.security.UserGroupInformation.doAs (UserGroupInformation.java:1491) в org.apache.hadoop.ipc.Server $ Handler.run (Server.java:2042)

at org.apache.hadoop.ipc.Client.call(Client.java:1347)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:330)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1226)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1078)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:514)

и в журнале датоданных этот журнал существует:

2014-01-02 04: 40: 31 616 ПРЕДУПРЕЖДЕНИЕ org.apache.hadoop.hdfs.server.datanode.DataNode: Проблема с подключением к серверу: RM / 192.168.1.101: 9000 2014-01-02 04: 40: 37 618 INFO org. apache.hadoop.ipc.Client: Повторная попытка подключения к серверу: RM / 192.168.1.101: 9000. Уже пробовали 0 раз (а) $ 2014-01-02 04: 40: 38,619 INFO org.apache.hadoop.ipc.Client: Повторная попытка подключения к серверу: RM / 192.168.1.101: 9000. Уже пробовали 1 раз (а) $ 2014-01-02 04: 40: 39,620 ИНФОРМАЦИЯ org.apache.hadoop.ipc.Client: Повторное подключение к серверу: RM / 192.168.1.101: 9000. Уже пробовали 2 раза $ 2014-01-02 04: 40: 40,621 ИНФОРМАЦИЯ org.apache.hadoop.ipc.Client: Повторное подключение к серверу: RM / 192.168.1.101: 9000. Уже пробовал 3 раз

Я проверил порт 9000 на главном узле, и вывод такой:

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 10227 / java

Я думаю, что проблема вызвана тем, что в подчиненном узле, когда я

телнет RM 9000

это говорит

Попытка 192.168.1.101 ... telnet: невозможно подключиться к удаленному хосту: соединение отклонено

тем не мение

телнет рм

выход:

Попытка 192.168.1.101 ... Подключен к RM. Escape-символ '^]'. Ubuntu 12.04.2 LTS RM логин:

для дополнительной информации мой / etc / hosts на master и slave, как показано ниже:

127.0.0.1 RM | slv localhost

192.168.1.101 РМ

192.168.1.103 slv

Кто-нибудь может предложить мне решение? любая помощь действительно ценится. Спасибо