Est-il possible d'ajouter des nœuds dans un cluster Hadoop?
J'ai été jouer avec Cloudera et je définir le nombre de clusters avant que je commence mon travail, puis utiliser le cloudera manager pour s'assurer que tout est en cours d'exécution.
Je suis en train de travailler sur un nouveau projet qui, au lieu de l'utilisation d'hadoop est à l'aide de files d'attente de messages pour distribuer le travail, mais les résultats de ces travaux sont stockées dans HBase. Je pourrais lancer 10 serveurs de traitement de la tâche et de les stocker pour Hbase, mais je me demande si plus tard, j'ai décidé d'ajouter un peu plus de nœuds de travail puis-je facilement (lire: programmable) faire automatiquement se connecter au cluster en cours d'exécution afin qu'ils puissent localement ajouter aux clusters HBase/HDFS?
Est-ce possible et ce que j'ai besoin d'apprendre afin de le faire?
OriginalL'auteur user1735075 | 2012-10-31
Vous devez vous connecter pour publier un commentaire.
Voici la documentation pour l'ajout d'un nœud à Hadoop et pour HBase. Regarder la documentation, il n'est pas nécessaire de redémarrer le cluster. Un nœud peut être ajouté de manière dynamique.
Ai-je besoin de mettre à jour /etc/hosts fichiers sur tous les nœuds ainsi ou est-ce aussi pour NameNodes seulement?
OriginalL'auteur Praveen Sripati
Étapes suivantes devraient vous aider à lancer le nouveau nœud dans le cluster en cours d'exécution.
Si vous ne voulez pas redémarrer les services sur le NN, lorsque vous ajoutez un nouveau nœud. Je dirais ajouter les noms à l'avance pour les esclaves fichier de configuration. Afin qu'ils déclarent que la démolition ou la mort des nœuds jusqu'à ce qu'ils sont disponibles. À la suite de la DataNode à seulement quelques pas. De nouveau ce n'est pas la meilleure pratique.
OriginalL'auteur Chakri
Si je vous comprends bien, vous avez des travailleurs de coordonner par vous-même que vous connecter à HBase de sauvegarder leurs données. vous pouvez avoir autant de ceux que vous avez besoin et ils peuvent se connecter à Hbase comme ils sont ajoutés (tant qu'ils peuvent voir la gardienne d'animaux de quorum).
Si vous parlez d'augmenter le cluster Hadoop. Depuis que vous utilisez déjà Cloudera vous pouvez le faire via le cloudera Manager API REST ou le Client Java quelqu'un mis en œuvre pour qu'il
OriginalL'auteur Arnon Rotem-Gal-Oz
Il peut être fait sans avoir à redémarrer le cluster hadoop. Selon cette document, Vous pouvez ajouter des nœuds dans les inclut le fichier et de faire les modifications dans le hdfs-site.xml et mapred-site.xml fichiers, vous pouvez atteindre cet objectif. Des instructions détaillées sont fournies dans le ce document
OriginalL'auteur Thanga