Hbase propos de la gardienne d'erreur
Environnement : Ubuntu 14.04 , hadoop-2.2.0 , hbase-0.98.7
quand j'ai commencer à hadoop et hbase(nœud unique mode), à la fois tous les succès (j'ai également consulter le site web 8088 pour hadoop, 60010 pour hbase)
jps
4507 SecondaryNameNode
5350 HRegionServer
4197 NameNode
4795 NodeManager
3948 QuorumPeerMain
5209 HMaster
4678 ResourceManager
5831 Jps
4310 DataNode
mais lorsque je vérifie hbase-hadoop-master-localhost.journal, j'ai trouvé les informations suivantes
2014-10-23 14:16:11,392 INFO [main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
2014-10-23 14:16:11,426 INFO [main-SendThread(localhost:2181)] zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session
j'ai google beaucoup de site web pour cette erreur inconnue problème, mais je ne peux pas résoudre ce problème...
Voici mon hadoop et hbase configuration
Hadoop :
baumes contenu : localhost
core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:8020</value>
</property>
</configuration>
yarn-site.xml
<configuration>
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>localhost:9001</value>
<description>host is the hostname of the resource manager and
port is the port on which the NodeManagers contact the Resource Manager.
</description>
</property>
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>localhost:9002</value>
<description>host is the hostname of the resourcemanager and port is the port
on which the Applications in the cluster talk to the Resource Manager.
</description>
</property>
<property>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
<description>In case you do not want to use the default scheduler</description>
</property>
<property>
<name>yarn.resourcemanager.address</name>
<value>localhost:9003</value>
<description>the host is the hostname of the ResourceManager and the port is the port on
which the clients can talk to the Resource Manager. </description>
</property>
<property>
<name>yarn.nodemanager.local-dirs</name>
<value></value>
<description>the local directories used by the nodemanager</description>
</property>
<property>
<name>yarn.nodemanager.address</name>
<value>localhost:9004</value>
<description>the nodemanagers bind to this port</description>
</property>
<property>
<name>yarn.nodemanager.resource.memory-mb</name>
<value>10240</value>
<description>the amount of memory on the NodeManager in GB</description>
</property>
<property>
<name>yarn.nodemanager.remote-app-log-dir</name>
<value>/app-logs</value>
<description>directory on hdfs where the application logs are moved to </description>
</property>
<property>
<name>yarn.nodemanager.log-dirs</name>
<value></value>
<description>the directories used by Nodemanagers as log directories</description>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>shuffle service that needs to be set for Map Reduce to run </description>
</property>
</configuration>
Hbase:
hbase-env.sh :
..
export JAVA_HOME="/usr/lib/jvm/java-7-oracle"
..
export HBASE_MANAGES_ZK=true
..
hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.clientPort</name>
<value>2181</value>
</property>
</configuration>
regionserver contenu : localhost
mon /etc/hosts contenu:
127.0.0.1 localhost
#127.0.1.1 localhost
# The following lines are desirable for IPv6 capable hosts
::1 ip6-localhost ip6-loopback
fe00::0 ip6-localnet
ff00::0 ip6-mcastprefix
ff02::1 ip6-allnodes
ff02::2 ip6-allrouters
J'ai essayer beaucoup de méthodes pour le résoudre, mais tous échouent, merci de m'aider à le résoudre, j'ai vraiment besoin de savoir comment le résoudre.
À l'origine, je lance un mapreuce programme et lorsque la carte de 67% de réduire à 0%, il imprime des INFOS et certains d'INFO suivante:
14/10/23 15:50:41 INFO zookeeper.ZooKeeper: Initiating client connection, connectString=localhost:2181 sessionTimeout=60000 watcher=org.apache.hadoop.hbase.client.HConnectionManager$ClientZKWatcher@ce1472
14/10/23 15:50:41 INFO zookeeper.ClientCnxn: Opening socket connection to server localhost/127.0.0.1:2181. Will not attempt to authenticate using SASL (unknown error)
14/10/23 15:50:41 INFO zookeeper.ClientCnxn: Socket connection established to localhost/127.0.0.1:2181, initiating session
14/10/23 15:50:41 INFO zookeeper.ClientCnxn: Session establishment complete on server localhost/127.0.0.1:2181, sessionid = 0x1493be510380007, negotiated timeout = 40000
14/10/23 15:50:43 INFO mapred.LocalJobRunner: map > sort
14/10/23 15:50:46 INFO mapred.LocalJobRunner: map > sort
puis il crash.. je pense que le programme peut-être dans dead lock et c'est ce que je veux résoudre zookeeper problème ci-dessus.
Si vous voulez utiliser un autre fichier de configuration j'ai mis dans hadoop ou hbase ou autres, dites-le moi, je vais le poster.
merci!
Êtes-vous en utilisant votre propre zookeeper serveur ou êtes-vous à l'aide d'une gardienne d'animaux de configuration. J'ai eu certains problèmes de connexion lors de l'utilisation externe de la gardienne de la configuration, mais il a été réglé lorsque je laisse hbase gérer la gardienne?
OriginalL'auteur steven | 2014-10-23
Vous devez vous connecter pour publier un commentaire.
Je ne pense pas que la gardienne est votre problème. Vous devriez regarder vos autres journaux pour plus d'informations sur votre map/reduce état de la tâche. Vérifiez le datanode et namenode journaux d'erreurs le long de avec le fils du journal des messages à travers le fil tracker d'emploi de l'interface utilisateur.
ZooKeeper Messages
Ces messages sont de zookeeper essayez de vous connecter avec la Gardienne d'animaux sasl client. Si sasl n'est pas configuré, le client aura toujours la possibilité de se connecter mais la connexion n'est pas authentifié.
Message d'erreur vient de ce fichier
ZooKeeperSaslClient.java
Si vous voulez vous débarrasser de l'erreur, vous devrez configurer zookeeper à utiliser sasl. Désolé de ne pas avoir aucune expérience de la configuration sasl pour zookeeper.
ZooKeeper SASL Configuration
OriginalL'auteur Chris Hinshaw
Ajouter les propriétés suivantes hbase-site.xml fichier
redémarrer ./start-hbase.sh
OriginalL'auteur y durga prasad
C'est comment je l'ai résolu - après que j'ai essayé, y compris hbase-site.xml dans le classpath et de donner de l'zookeeper quorum valeur -Dhbase.zookeeper.quorum - et ils n'ont pas de travail.
J'ai copié hbase-site.xml dans le même dossier que mon pot et n'a
jar uf myjar.jar hbase-site.xml
Et puis j'ai couru hadoop jar myjar.jar Bla
Cela a réglé le problème
OriginalL'auteur Run2