Configuration du nœud client Hadoop

Supposer qu'il existe un Cluster Hadoop avec 20 machines. Sur ces 20 machines à 18 machines sont esclaves de la machine et de 19 est de NameNode et de la machine-20 est pour JobTracker.

Maintenant, je sais que hadoop logiciel doit être installé dans toutes les les personnes âgées de 20 machines.

mais ma question est la machine qui est en cause pour charger un fichier xyz.txt dans de Cluster Hadoop. C'est que la machine client d'une machine séparée . Avons-nous besoin d'installer le logiciel Hadoop dans ce clinet machine. Comment fonctionne la machine client identifes cluster Hadoop?

source d'informationauteur Surender Raja

  1. 9

    Je suis nouveau sur hadoop, donc à partir de ce que j'ai compris:

    Si votre téléchargement de données n'est pas un réel service de la grappe, qui doit être en cours d'exécution sur un nœud du cluster, vous pouvez configurer votre ordinateur de fonctionner comme un nœud de bord.

    Un nœud de bord n'a pas besoin d'être connu par le cluster (mais pour des trucs de sécurité), car il ne stocke pas les données ni de calcul de l'emploi. C'est essentiellement ce que cela signifie d'être un bord-nœud: il est connecté au cluster hadoop, mais ne participe pas.

    Dans le cas où il peut aider quelqu'un, voici ce que j'ai fait pour vous connecter à un cluster que je n'ai pas l'administrer:

    • obtenir un compte sur le cluster, dire myaccount
    • créer un compte sur votre ordinateur avec le même nom: myaccount
    • configurer votre ordinateur afin d'accéder aux machines du cluster ssh (w\out mot de passe, ip enregistrées, ...)
    • obtenir le hadoop fichiers de configuration à partir d'un bord-nœud du cluster
    • obtenir une hadoop distrib (eg. de ici)
    • décompressez-le où vous voulez, dire /home/myaccount/hadoop-x.x
    • ajouter les variables d'environnement suivantes: JAVA_HOMEHADOOP_HOME (/home/me/hadoop-x.x)
    • (si vous le souhaitez) ajouter hadoop bin dans votre path: export PATH=$HADOOP_HOME/bin:$PATH
    • remplacer votre hadoop fichiers de configuration par ceux que vous avez obtenu à partir du nœud de bord. Avec hadoop 2.5.2, c'est le dossier $HADOOP_HOME/etc/hadoop
    • aussi, j'ai dû changer la valeur d'un couple $JAVA_HOME définies dans les fichiers de conf. Pour les trouver, utiliser: grep -r "export.*JAVA_HOME"

    Puis faire hadoop fs -ls / qui doit lister le répertoire racine du cluster hdfs.

  2. 5

    Typiquement dans le cas où vous avez un multi-locataire cluster (dont la plupart des clusters hadoop sont tenus de l'être) alors idéalement une personne autre que les administrateurs ont accès à des machines qui sont la partie du cluster.

    Développeurs de créer son propre "edge-nœuds". Bord de Nœuds en gros hadoop bibliothèques et le client configuration déployée (divers fichiers xml qui racontent l'installation locale où namenode, tracker d'emploi, gardienne d'animaux, etc qui sont au coeur du site, mapred-site, hdfs-site.xml). Mais le nœud de bord ne joue aucun rôle en tant que telle dans le cluster c'est à dire pas persistant hadoop services sont en cours d'exécution sur ce nœud.

    Maintenant dans le cas d'un petit environnement de développement type d'installation que vous pouvez utiliser l'un des nœuds du cluster pour l'exécution des travaux ou d'exécuter des commandes shell.

    Donc en fonction de vos besoins, la définition et le placement des clients varie.

  3. 5

    Je recommande ce l'article.
    "Machines clientes ont Hadoop installé avec tous les paramètres du cluster, mais ne sont ni un Maître ou un Esclave. Au lieu de cela, le rôle de la machine Cliente est pour charger les données dans le cluster, présenter la Carte de Réduire les emplois décrivant la manière dont les données doivent être traitées, puis de récupérer ou d'afficher les résultats de la tâche lorsque c'est terminé."