hadoop - Connexion refusée sur namenode

J'ai cherché sur le web et stackoverflow pour une longue période, mais il n'était pas utile.

J'ai installé hadoop yarn 2.2.0 dans 2 nœud de cluster de l'installation. mais quelque chose va mal.
quand j'ai commencer à hadoop démons à l'aide de start-dfs.sh et start-yarn.sh sur le nœud maître, ils ont réussi à exécuter en maître et de l'esclave (mon maître est le nom d'hôte est RM et mon esclave du nom d'hôte est slv). ils peuvent ssh les uns les autres avec succès. mais quand je veux exécuter une tâche, cette erreur s'affiche:

14/01/02 04:22:53 AVERTIR util.NativeCodeLoader: Impossible de charger le natif hadoop bibliothèque pour votre plate-forme... à l'aide de builtin-classes java le cas échéant
14/01/02 04:22:56 AVERTIR hdfs.DFSClient: DataStreamer Exception
org.apache.hadoop.de la cib.RemoteException(java.io.IOException): Fichier /utilisateur/root/QuasiMonteCarlo_1388665371850_813553673//part0 ne pouvait être répliqué à 0 nœuds au lieu de minReplication (=1). Il y a 0 datanode(s) en cours d'exécution et pas de nœud(s) sont exclus de cette opération.
au org.apache.hadoop.hdfs.serveur.blockmanagement.La commande gestionnaire de blocs.chooseTarget(la commande gestionnaire de blocs.java:1384)
au org.apache.hadoop.hdfs.serveur.namenode.FSNamesystem.getAdditionalBlock(FSNamesystem.java:2477)
au org.apache.hadoop.hdfs.serveur.namenode.NameNodeRpcServer.addBlock(NameNodeRpcServer.java:555)
au org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolServerSidetranslatorpb.addBlock(ClientNamenodeProtocolServerSidetranslatorpb.java:387)
au org.apache.hadoop.hdfs.protocol.proto.ClientNamenodeProtocolProtos$ClientNamenodeProtocol$2.callBlockingMethod(ClientNamenodeProtocolProtos.java:59582)
au org.apache.hadoop.de la cib.ProtobufRpcEngine$Serveur,$ProtoBufRpcInvoker.appel(ProtobufRpcEngine.java:585)
au org.apache.hadoop.de la cib.RPC$Serveur.d'appel(RPC.java:928)
au org.apache.hadoop.de la cib.Serveur$Gestionnaire De$1.exécuter(Serveur de.java:2048)
au org.apache.hadoop.de la cib.Serveur$Gestionnaire De$1.exécuter(Serveur de.java:2044)
à java.de sécurité.AccessController.doPrivileged(Native method)
au javax.de sécurité.auth.Sujet.doAs(sous réserve.java:416)
au org.apache.hadoop.de sécurité.UserGroupInformation.doAs(UserGroupInformation.java:1491)
au org.apache.hadoop.de la cib.Serveur$Handler.exécuter(Serveur de.java:2042)

at org.apache.hadoop.ipc.Client.call(Client.java:1347)
at org.apache.hadoop.ipc.Client.call(Client.java:1300)
at org.apache.hadoop.ipc.ProtobufRpcEngine$Invoker.invoke(ProtobufRpcEngine.java:206)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:57)
at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
at java.lang.reflect.Method.invoke(Method.java:622)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invokeMethod(RetryInvocationHandler.java:186)
at org.apache.hadoop.io.retry.RetryInvocationHandler.invoke(RetryInvocationHandler.java:102)
at com.sun.proxy.$Proxy9.addBlock(Unknown Source)
at org.apache.hadoop.hdfs.protocolPB.ClientNamenodeProtocolTranslatorPB.addBlock(ClientNamenodeProtocolTranslatorPB.java:330)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.locateFollowingBlock(DFSOutputStream.java:1226)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1078)
at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:514)

et dans datanode journal ce journal existe:

2014-01-02 04:40:31,616 AVERTIR org.apache.hadoop.hdfs.serveur.datanode.DataNode: Problème de connexion au serveur: RM/192.168.1.101:9000
2014-01-02 04:40:37,618 INFO org.apache.hadoop.de la cib.Client: nouvelle tentative de connexion au serveur: RM/192.168.1.101:9000. Déjà essayé 0 temps(s)$
2014-01-02 04:40:38,619 INFO org.apache.hadoop.de la cib.Client: nouvelle tentative de connexion au serveur: RM/192.168.1.101:9000. Déjà essayé 1 temps(s)$
2014-01-02 04:40:39,620 INFO org.apache.hadoop.de la cib.Client: nouvelle tentative de connexion au serveur: RM/192.168.1.101:9000. Déjà essayé 2 temps(s)$
2014-01-02 04:40:40,621 INFO org.apache.hadoop.de la cib.Client: nouvelle tentative de connexion au serveur: RM/192.168.1.101:9000. Déjà essayé 3 temps(s)

J'ai vérifié sur le port 9000 sur le nœud maître et la sortie est ceci:

tcp 0 0 127.0.0.1:9000 0.0.0.0:* LISTEN 10227/java

Je crois que le problème est causé par la raison que dans le nœud esclave quand je

telnet RM 9000

il dit

Essayer 192.168.1.101...
telnet: Unable to connect to remote host: Connexion refusée

cependant

telnet RM

la sortie est :

Essayer 192.168.1.101...
Connecté à RM.
Caractère d'échappement '^]'.
Ubuntu 12.04.2 LTS
RM login:

pour plus d'informations mon /etc/hosts sur le maître et de l'esclave est comme ci-dessous:

127.0.0.1 RM|slv localhost

192.168.1.101 RM

192.168.1.103 slv

quelqu'un peut-il me suggérer une solution?
toute aide est très apprécié.
grâce

Exécutez-vous iptables sur le namenode? Ou quelque chose d'autre qui serait de restreindre l'accès au port 9000?
Bon rapport, je vous remercie.

OriginalL'auteur masoumeh | 2014-01-02

12

Je pense que le problème, c'est que votre maître est à l'écoute sur 127.0.0.1:9000, donc datanode ne peut pas se connecter car il n'est pas à l'écoute à 192.168.1.101:9000 (théoriquement, un bon endroit pour écouter, c'est 0.0.0.0:9000 depuis évite ces problèmes, mais il semble que cette configuration n'est pas accepté).

Peut-être se résoudre à modifier votre /etc/hosts la suppression de la première ligne, ou essayez d'abord juste avec:
```
127.0.0.1 localhost
192.168.1.101 RM
192.168.1.103 slv
```
-- edit: lire les commentaires soufflet

grâce à un océan pour votre réponse utile 🙂 après ce changement de telnet fonctionne correctement et Namenode et Datanode peut se connecter aux autres, mais quand je lance un examlpe, cette erreur s'affiche:
14/01/03 02:53:46 INFO mapreduce.D'emploi: Emploi job_1388746341375_0001 a échoué avec l'état a ÉCHOUÉ en raison d': Application application_1388746341375_0001 a échoué 2 fois à cause d'SUIS Conteneur pour appattempt_1388746341375_0001_000002 sorti avec exitCode: -1000 due à: Appel De slv/192.168.1.103 à 0.0.0.0:9000 échec lors de la connexion d'exception: java.net.ConnectException: Connexion refusée; Pour plus de détails, voir: wiki.apache.org/hadoop/ConnectionRefused .À défaut de cette tentative.. à Défaut de l'application. 14/01/03 02:53:46 INFO mapreduce.Emploi: Les Compteurs: 0
la même erreur dans la classe resourcemanager du journal. Je vais discuter de nodemanager du journal dans une nouvelle réponse ci-dessous 🙂
De ma faute. Configurer pour écouter à 192.168.1.101:9000. L'idée était theorethical. Il suffit de configurer RM écouter à 192.168.1.101:9000 et de la slv de se connecter à 192.168.1.101:9000 et je pense que cela devrait fonctionner. 🙂
merci beaucoup chère 🙂

OriginalL'auteur Alfonso Nishikawa

J'ai eu le même problème, j'ai changé

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:8020</value>
</property>

dans core-site.xml pour

<property>
    <name>fs.defaultFS</name>
    <value>hdfs://ip-address:8020</value>
</property>

et il a travaillé

OriginalL'auteur gary69

0

J'ai rencontré le même problème. Après avoir couru jps, nous pouvons voir tout le namenode et datanode sont en cours d'exécution. mais ne voyez pas le nœud actif dans la page web. Et j'ai trouvé j'ai mis 127.0.0.1 master dans /etc/hosts. Après avoir enlevé. les esclaves peuvent telnet master 9000.

Mon /etc/hosts ressemble:
```
127.0.0.1   localhost

192.168.139.129 slave1

192.168.139.130 slave2

192.168.139.128 master
```
OriginalL'auteur Levin

Vous devez vous connecter pour publier un commentaire.