YARN Resourcemanager ne se connecte pas à nodemanager

merci d'avance pour toute aide

Je suis en cours d'exécution dans les versions suivantes:

Hadoop 2.2
zookeeper 3.4.5
Hbase 0.96
La ruche 0.12

Quand je vais à http://:50070 je suis en mesure de bien voir que 2 nœuds sont en cours d'exécution.

Le problème est quand je vais à http://:8088 il montre 0 nœuds en cours d'exécution.

Je comprends que :8088 reflète la classe resourcemanager et affiche le nombre de nodemanagers en cours d'exécution. Les démons tout début, mais il semblerait que le nodemanagers ne sont pas de la connexion à la classe resourcemanager.

C'est le fichier de log:

2013-12-16 20:55:48,648 INFO org.apache.hadoop.yarn.client.RMProxy: Connecting to ResourceManager at /127.0.0.1:8031
2013-12-16 20:55:49,755 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 0 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:50,756 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 1 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:51,757 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 2 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:52,758 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 3 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:53,759 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 4 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)
2013-12-16 20:55:54,760 INFO org.apache.hadoop.ipc.Client: Retrying connect to server: localhost/127.0.0.1:8031. Already tried 5 time(s); retry policy is RetryUpToMaximumCountWithFixedSleep(maxRetries=10, sleepTime=1 SECONDS)

J'ai vérifié et le port 8031 est ouvert.

EDIT:

Pour les gens d'affichage dans l'avenir, j'ai besoin de modifier mon yarn-site.xml pour l'aspect suivant:

<property>
   <name>yarn.nodemanager.aux-services</name>
   <value>mapreduce_shuffle</value>
</property>
<property>
   <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
   <value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<property>
   <name>yarn.resourcemanager.scheduler.address</name>
   <value>master-1:8030</value>
</property>
<property>
   <name>yarn.resourcemanager.address</name>
   <value>master-1:8032</value>
</property>
<property>
   <name>yarn.resourcemanager.webapp.address</name>
   <value>master-1:8088</value>
</property>
<property>
   <name>yarn.resourcemanager.resource-tracker.address</name>
   <value>master-1:8031</value>
</property>
<property>
   <name>yarn.resourcemanager.admin.address</name>
   <value>master-1:8033</value>
</property>

source d'informationauteur Aman Chawla

7

Vous aurez besoin de spécifier

hostname:port

Oui, il doit être défini sur tous les nœuds, et pas seulement la classe ResourceManager nœud (Vous serez bien simplement de copier le même hadoop la conf dir pour tous vos nœuds). Si vous avez besoin de faire un minimum de travail configs pour commencer, jetez un coup d'oeil ici: toster.ru/q/57046#answer_208326
8

J'ai eu un problème similaire, et il a été résolu simplement en spécifiant la classe ResourceManager nom d'hôtepas besoin de préciser l'adresse exacte pour le service.
```
<property>
  <name>yarn.resourcemanager.hostname</name>
  <value>master-1</value>
</property>
```
0

La rsync ou scp de commande peut être utilisé pour copier les fichiers de configuration du nœud maître à l'esclave nœuds:
```
for host in $HADOOP_CONF_DIR/slaves; do 
    rsync -rv $HADOOP_CONF_DIR/* $host:$HADOOP_CONF_DIR/
done
```
Noteici, je suis en supposant que tous les nœuds ont le même hadoop annuaire de mise en page.
0

J'ai aussi eu le même problème mais dans mon cas, un seul nœud à gérer a été répertorié dans le gestionnaire de ressource. J'ai placé en dessous de la propriété dans yarn-site.xml et j'ai pu voir nœuds inscrites au RM.
```
<property>
    <name>yarn.resourcemanager.hostname</name>
    <value><master-1></value>
</property>
```
0

J'ai connu un problème avec des symptômes très similaires bien que c'était la nodemanager pas de la connexion au gestionnaire de ressources. Le problème était que, dans yarn-site.xml il est (ou pourrait être) une propriété nommée "fil.nodemanager.nom d'hôte". Ce paramètre a été accidentellement rempli avec le nom d'hôte de la SF "namenode" mais il est censé contenir le nom d'hôte de la LAINE par-nœud "nodemanager". Selon ce qui a été entré pour d'autres biens, ce était à l'origine de diverses erreurs comme "nouvelle tentative de connexion", "Connexion refusée", ou l'allocation de ressources des erreurs. Mettre ce paramètre à "0.0.0.0" (valeur par défaut) a résolu le problème.
-2
1. vérifier FIL HA est activé ou pas?
2. Dans le cas où il est activé puis, pour chacun des gestionnaires des ressources mentionnées dans le
  yarn-site.xml
  de fil.resourcemanager.ha.rm-id (par exemple, rm1,rm2)
  exécuter la classe resourcemanager service.

Vous devez vous connecter pour publier un commentaire.