Comment configurer le fichier hosts pour l'écosystème Hadoop

![entrez la description de l'image ici][1]La question peut paraître évident, mais j'ai été confrontée à de nombreuses reprises, en raison d'une mauvaise configuration du fichier hosts sur un cluster hadoop.

Quelqu'un peut-il décrire comment configurer le fichier hosts et d'autres liées à la configuration du réseau pour hadoop et de l'environnement semblable à l'utilisation (comme cloudera).

Spécialement quand je dois ajouter le nom d'hôte et nom de domaine complet

Mise à jour

Voici le fichier host de la machine de nom d'hôte cdh4hdm ont un rôle de hadoop Maître

 127.0.0.1       cdh4hdm        localhost
  #127.0.1.1      cdh4hdm 

 # The following lines are desirable for IPv6 capable hosts

   172.26.43.40    cdh4hdm.imp.co.in            kdc1
   172.26.43.41    cdh4hbm.imp.co.in   
   172.26.43.42    cdh4s1.imp.co.in    
   172.26.43.43    cdh4s2.imp.co.in    
   172.26.43.44    cdh4s3.imp.co.in    
   172.26.43.45    cdh4s4.imp.co.in    

   ::1     ip6-localhost ip6-loopback
   fe00::0 ip6-localnet
   ff00::0 ip6-mcastprefix
   ff02::1 ip6-allnodes
   ff02::2 ip6-allrouters

Veuillez voir image ci-jointe

Ici sur un cluster certains nœuds sont l'obtention de nom de domaine complet et certains sont d'obtenir le nom d'hôte.

Aussi IP nom d'hôte n'est pas bon et montrant 127.0.0.1 à la place de l'IP de l'hôte

S'il vous plaît suggérer

Entendez-vous le /etc/hosts fichier?
veuillez voir la mise à jour de la question avec plus de détails si vous avez besoin d'autres détails, n'hésitez pas à demander

OriginalL'auteur Vikas Hardia | 2014-03-05

5

Pour UBUNTU

Fichier Hosts et d'autres de configuration de Cluster Hadoop

Fournir le nom d'hôte à toutes les machines du cluster, pour ce faire, ajoutez le nom d'hôte dans le fichier /etc/hostname comme
```
hostname-of-machine
```
Sur toute l'armée, les hôtes fichier devrait ressembler à ceci:

hôtes
```
127.0.0.1       localhost
#127.0.1.1      localhost

<ip of host>    FQDN                hostname    other_name
172.26.43.10    cdh4hdm.domain.com  cdh4hdm     kdc1
172.26.43.11    cdh4hbm.domain.com  cdh4hbm
172.26.43.12    cdh4s1.domain.com   cdh4s1
172.26.43.13    cdh4s2.domain.com   cdh4s2
172.26.43.14    cdh4s3.domain.com   cdh4s3
172.26.43.15    cdh4s4.domain.com   cdh4s4
```
Remarque: assurez-vous commenter la ligne localhost 127.0.1.1 il peut créer problème dans zookeeper et cluster.

Ajouter l'IP du serveur DNS dans /etc/resolv.conf

résoudre.conf
```
search domain.com
nameserver 10.0.1.1
```
pour vérifier vérification de la configuration de hostfile et vous devriez être en mesure de ping sur toutes les machines par leur nom d'hôte

Pour vérifier le nom d'hôte et nom de domaine complet sur toutes les machines exécuter les commandes suivantes:
```
hostname        //should return the hostname
hostname -f     //Fully Qualified Hostname
hostname -d     //Domain name
```
Toutes les commandes seront même pour RHEL, sauf le nom d'hôte.

Source1 et Source2

OriginalL'auteur Vikas Hardia
3

Si vous voulez dire la /etc/hosts fichier, alors voici comment j'ai mis dans mon cluster hadoop:
```
127.0.0.1       localhost
192.168.0.5     master
192.168.0.6     slave1
192.168.0.7     slave2
192.168.0.18    slave3
192.168.0.3     slave4
192.168.0.4     slave5  nameOfCurrentMachine
```
où nameOfCurrentMachine est la machine que ce fichier est défini, utilisé comme slave5.
Certaines personnes disent que la première ligne doit être supprimé, mais je n'ai pas eu de problèmes, et je n'ai pas essayé de l'enlever.

Ensuite, le $HADOOP_CONF_DIR/masters fichier dans le nœud maître doit être:
```
master
```
et la $HADOOP_CONF_DIR/slaves fichier dans le nœud maître doit être:
```
slave1
slave2
slave3
slave4
slave5
```
Dans tous les autres noeuds, j'ai simplement mettre ces deux fichiers contiennent:
```
localhost
```
Vous devez également vous assurer que vous pouvez ssh de maître à tous les autres noeuds (à l'aide de son nom, pas son adresse IP) sans mot de passe. Ce post explique comment y parvenir.

il a travaillé lorsque j'utilise uniquement le nom d'hôte. ce nom de domaine complet sur?
Je n'ai jamais essayé autre chose que ce que je décris ici. Pour la partie de qui vous parlez? Pour nameOfCurrentMachine, ou de la propriété intellectuelle?
j'ai FQDN pour tous les nœuds, mais sur un cluster certains de nœud à venir, avec seulement le nom d'hôte et d'autres sont nom de domaine complet d'hôtes
Pouvez-vous donner un exemple de ce que des noms que vous avez disponible et ce que vous avez essayé? Peut-être mettre à jour votre question avec cet exemple.

OriginalL'auteur vefthym
-1

Garder des esclaves fichier hosts comme
```
127.0.0.1 localhost
```
Garder le fichier host comme
```
private ip master
private ip slave1
private ip slave2
```
OriginalL'auteur Puneet Bhatia

Vous devez vous connecter pour publier un commentaire.