impossible de vérifier les nœuds sur hadoop [Connexion refusée]
Si j'type http://localhost:50070
ou http://localhost:9000
pour voir les nœuds,mon navigateur m'indique rien, je pense qu'il ne peut pas se connecter au serveur.
J'ai testé mon hadoop avec cette commande:
hadoop jar hadoop-*test*.jar TestDFSIO -write -nrFiles 10 -fileSize 1000
mais aussi n'a pas fonctionné et il essaie de se connecter au serveur,c'est la sortie:
12/06/06 17:25:24 INFO mapred.FileInputFormat: nrFiles = 10
12/06/06 17:25:24 INFO mapred.FileInputFormat: fileSize (MB) = 1000
12/06/06 17:25:24 INFO mapred.FileInputFormat: bufferSize = 1000000
12/06/06 17:25:25 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 0 time(s).
12/06/06 17:25:26 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 1 time(s).
12/06/06 17:25:27 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 2 time(s).
12/06/06 17:25:28 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 3 time(s).
12/06/06 17:25:29 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 4 time(s).
12/06/06 17:25:30 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 5 time(s).
12/06/06 17:25:31 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 6 time(s).
12/06/06 17:25:32 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 7 time(s).
12/06/06 17:25:33 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 8 time(s).
12/06/06 17:25:34 INFO ipc.Client: Retrying connect to server: localhost/127.0.0.1:9000. Already tried 9 time(s).
java.net.ConnectException: Call to localhost/127.0.0.1:9000 failed on connection exception: java.net.ConnectException: Connection refused
J'ai modifié quelques fichiers comme ceci:
dans conf/core-site.xml:
<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://localhost:9000</value>
</property>
dans conf/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
</configuration>
dans conf/mapred-site.xml:
<configuration>
<property>
<name>mapred.job.tracker</name>
<value>localhost:9001</value>
</property>
</configuration>
Hé les Gars thnks pour votre attention,
Si je lance cette commande
cat /etc/hosts
Je vois:
127.0.0.1 localhost
127.0.1.1 ubuntu.ubuntu-domain ubuntu
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
et si je lance celui-ci:
ps axww | grep hadoop
Je vois ce résultat:
2170 pts/0 S+ 0:00 grep --color=auto hadoop
mais aucun effet !Avez-vous une Idee,Comment puis-je résoudre mon problème?
Ce qui est dans votre fichier /etc/hosts?
Je n'ai pas trouver que,vous savez où est exactement le fichier host?
dans hadoop dossier?
Vérifiez le namenode hadoop et datanode journaux en $HADOOP_HOME/logs, et voir si vous trouvez une erreur ou d'exception. Il est préférable de vérifier immédiatement après le démarrage, hadoop
nouveau dans ce domaine.Je ne pouvais pas trouver tous les journaux de fichier ou de dossier dans mon HADOOP_HOME chemin.Puis-je exécuter à partir d'un terminal?
Je n'ai pas trouver que,vous savez où est exactement le fichier host?
dans hadoop dossier?
Vérifiez le namenode hadoop et datanode journaux en $HADOOP_HOME/logs, et voir si vous trouvez une erreur ou d'exception. Il est préférable de vérifier immédiatement après le démarrage, hadoop
nouveau dans ce domaine.Je ne pouvais pas trouver tous les journaux de fichier ou de dossier dans mon HADOOP_HOME chemin.Puis-je exécuter à partir d'un terminal?
OriginalL'auteur Baper | 2012-06-06
Vous devez vous connecter pour publier un commentaire.
Il ya quelques choses que vous devez prendre soin de avant de commencer hadoop services.
Vérifier ce qui ce retourne:
Dans votre cas, cela devrait être localhost.
Aussi commentaire de l'IPV6 dans /etc/hosts.
Avez-vous format le namenode avant de commencer HDFS.
Comment avez-vous installer Hadoop. Emplacement des fichiers journaux dépendra de cela. Habituellement, il est dans l'emplacement "/var/log/hadoop/" si vous avez utilisé cloudera de distribution.
Si vous êtes un débutant complet, je vous suggérons d'installer Hadoop à l'aide de Cloudera SCM qui est assez facile. J'ai posté mon approche dans l'installation de Hadoop avec Cloudera de distribution.
Aussi
Assurez-vous que DFS emplacement a une de l'autorisation d'écriture. Il se trouve généralement @
/usr/local/hadoop_store/hdfs
Qui est une raison commune.
Avez-vous dire que la sortie de mon
hostname --fqdn
devrait êtrelocalhost
? mon est hadoopmaster.OriginalL'auteur pyfunc
même problème que j'ai reçu et cela a résolu mon problème:
problème se trouve avec l'autorisation donnée aux dossiers
"chmod" 755 ou plus pour les dossiers
/home/nom d'utilisateur/hadoop/*
OriginalL'auteur subZero
Une autre possibilité est le namenode n'est pas en cours d'exécution.
Vous pouvez supprimer les fichiers HDFS:
Reformater le HDFS
Et redémarrez hadoop services
ou
OriginalL'auteur Danke Xie
également modifier votre fichier /etc/hosts et le changement 127.0.1.1 à l'adresse 127.0.0.1...bonne résolution dns est très important pour hadoop et un peu délicat, trop..aussi ajouter la propriété suivante dans votre core-site.xml fichier -
l'emplacement par défaut de cette propriété est le répertoire /tmp qui se vidées après chaque redémarrage du système..donc vous perdez toutes vos informations à chaque redémarrage..aussi ajouter ces propriétés dans votre hdfs-site.xml fichier -
OriginalL'auteur Tariq
Je suis en supposant que c'est votre première installation de hadoop.
Au début veuillez vérifier si votre démons sont de travail. Pour ce faire utiliser (dans le terminal):
Si seulement jps apparaît, cela signifie que tous les démons sont à la baisse. Veuillez vérifier les fichiers journaux. Surtout le namenode. Dossier du journal est probablement quelque part par là, /usr/lib/hadoop/logs
Si vous avez quelques problèmes d'autorisation. Utilisez ce guide lors de l'installation.
Bon guide d'installation
Je suis prise de vue avec cette explications, mais ce sont des problèmes les plus courants.
Vous avez raison, si le lancement de l'hadoop dans le pseudo mode distribué, vous devez utiliser sudo jps parce que tous les démons sont gérés par super utilisateur par défaut. Suis-je le droit ?
OriginalL'auteur wonsky
Hi Modifier votre noyau conf/core-site.xml et changer localhost à 0.0.0.0. L'utilisation de la conf ci-dessous. Cela devrait fonctionner.
OriginalL'auteur Desly Peter