quelles sont les différences zookeeper, journal tâches de nœud et de quorum gestionnaire de journal dans hadoop?
Sur l'étude du matériel en plusieurs pas de sites web et des vidéos, je suis confus avec les fonctionnalités et les différences dans les objectifs de la 3 hadoop composants ZooKeeper, Journal Nœud et le Collège Gestionnaire de Journal.
Quelqu'un pourrait-il svp m'expliquer les raisons pour inventer chacun des ci-dessus et les différences dans les besoins et les fonctionnalités des trois composantes ci-dessus?
Merci d'avance.
OriginalL'auteur Shashikanth Komandoor | 2014-09-25
Vous devez vous connecter pour publier un commentaire.
Pensez-y comme ça, zookeeper est un groupe de personnes, chacune affectée à regarder plus d'une usine et de les coordonner, journal nœud est un endroit où tous les directeurs d'usine pouvez consulter d'autres personnes de statut et de coordonner. QJM est une combinaison des deux, pour être utilisé dans HA pour une meilleure coordination en cas de basculement.
zookeeper coordonnées hbase regionservers hadoop et d'autres modules qui nécessitent zookeeper.
journal nœud de coordonnées hadoop datanodes avec le namenode.
QJM coordonnées regionservers à l'aide de la technique utilisée par le journal nœud
sur le cœur de hadoop de l'installation uniquement journal nœud est nécessaire en cas d'installation distribuée
Ce que signifie exactement par "Coordination"? Pourriez-vous expliquer les fonctionnalités et les flux de travail ou à ce genre de situation, les composantes ci-dessus de prendre le contrôle? Je ne suis pas exactement d'obtenir ce genre de coordination de ces composants sont en train de faire?
par coordination, je veux dire par exemple, lors de l'exécution d'un travail de mapreduce, il est nécessaire de diviser le travail entre les nœuds de ce service est coordonné par le journal nœud. Il serait mieux si vous lisez la documentation pour zk et jnode
J'ai cherché sur plusieurs documents et de liens, mais la fonctionnalité et le temps qu'ils se invoquée pour une tâche n'est pas clairement différenciés et plus il me confond. Donc, je suis en attente de nice, claire et explication en profondeur.
bonjour, j'ai fait l'installation de hadoop, mais, il ne s'affiche pas de processus pour le journal nœud hadoop 2.4.1. Cette fonctionnalité est-elle plus tard après cette version?
OriginalL'auteur Antariksha Yelkawar
Tout d'abord, le quorum, les moyens, il est nécessaire de majorité pour les décisions. Alors, quand vous voyez le mot "collège", vous devriez penser à un cluster, en disant qu'; configuration multi-host. Vous pouvez entendre ce terme pour les deux Zookeeper et Journal des Nœuds.
Courte description de leurs fonctionnalités vont vous aider à faire leur effet.
Zookeeper: Zookeeper est le centre de synchronisation de l'application pour plus d'informations les applications qui ont besoin de vérifier fréquemment. Il peut y avoir de nombreuses informations que l'application besoin comme de la structure de la nomenclature, des informations, des informations de configuration (ou tout simplement des configurations) etc. Cas le plus courant est la configuration de l'application. Lorsque vous modifiez une config qui se rapporte à disons 80 serveurs, pour synchroniser ce changement à tous les nœuds, vous avez besoin de développer un service de synchronisation. L'Application elle-même peut avoir cette fonctionnalité. Mais imaginez-vous ajouter un autre 12 applications de votre environnement. Vous avez besoin de prendre soin de chaque application de service de synchronisation, un par un. C'est là que zookeeper. Zookeeper peut gérer la gestion de toutes ces informations par lui-même. Si vous configurez un cluster (besoin d'un nombre impair d'hôtes. pourquoi?) vous aurez un haut niveau de disponibilité pour Zookeeper (basculement des cas) et ont un Zoopeeker Quorum.
Journal Nœud: Dans une haute disponibilité cluster Hadoop vous avez plus d'un Namenodes cours d'exécution en mode actif/passif. Active namenode informe journal de nœud pour les changements. Stand par le nom de nœud de demande de journal nœud sur ce qui a changé. Comme sur le cas de Zookeeper si vous avez mis en place comme la configuration du cluster (besoin d'un nombre impair de héberge aussi ici. pourquoi?), vous avez une haute disponibilité aussi pour le Journal Nœud de fonctions et d'atteindre le Quorum Gestionnaire de Journal.
En fait, je n'ai pas entendu comme seul ordinateur hôte ou un nœud à l'exception de laboratoire (vm dans le pc).
OriginalL'auteur Sedat Kestepe
1. Zookeeper
Rôle de Gardienne d'animaux dans l'écosystème Hadoop:
Pendant le Namenode Hadoop processus de basculement, la Gardienne a été utilisé afin d'éviter split-brain scénario de sorte que le nom de nœud de l'état n'est pas divergent, à cause de basculement.
Faire référence à cet article pour plus de détails:
Comment Hadoop Namenode processus de basculement fonctionne?
2. JournalNode ( Utilisé dans le Namenode processus de basculement)
JournalNode machines - les machines sur lequel vous exécutez le JournalNodes. Le JournalNode démon est relativement léger, de sorte que ces démons peuvent raisonnablement être regroupés sur des machines avec d'autres Hadoop démons, par exemple NameNodes, le JobTracker, ou le FIL ResourceManager.
Remarque: Il doit y avoir au moins 3 JournalNode démons, depuis l'édition du journal des modifications doivent être écrites dans une majorité de JNs. Cela permet au système de tolérer la défaillance d'une seule machine
3.Quorum Gestionnaire de Journal (QJM) permet de partager edition de journaux entre l'Actif et de Veille NameNodes
Important, lors de l'utilisation de la Quorum Gestionnaire de Journal, un seul NameNode sera jamais autorisé à écrire à la JournalNodes, donc il n'y a pas de potentiel pour corrompre le système de fichiers de métadonnées à partir d'un split-brain scénario
OriginalL'auteur Ravindra babu