Hadoop namenode métadonnées

Je suis un peu confus par l'architecture Hadoop.

  1. Quel type de fichier de métadonnées sont stockées dans Hadoop Namenode? Hadoop wiki, il est dit Namenode magasins de l'ensemble de l'espace de noms system. De l'information comme la dernière date de modification, date de création, taille du fichier, le propriétaire, les autorisations et etc stockées dans Namenode?

  2. Ne datanode de stocker toutes les informations de métadonnées?

  3. Il y a seulement un Namenode, peut les métadonnées de données dépassent le serveur est limite?

  4. Si un utilisateur veut télécharger un fichier à partir d'Hadoop, a-t-il à le télécharger à partir du Namenode? J'ai trouvé ci-dessous l'architecture de l'image à partir du web, il montre un client peut directement écrire des données à datanode? Est-il vrai?
    Hadoop namenode métadonnées

Merci!!!!!!!

  • veuillez vérifier les détails ci-dessous en utilisant le secondaire nœud du nom de mplsvpn.info/2012/11/... ce qui concerne shivlu jain
InformationsquelleAutor leon | 2011-06-07
  1. 4

    Je pense que l'explication suivante peut vous aider à mieux comprendre le HDFS architecture.
    Vous pouvez envisager de Nom noeud à l'instar de fichiers FAT (file allocation table) + les données de l'Annuaire et les Données des nœuds pour muets les périphériques de bloc.
    Si vous voulez lire le fichier du système de fichiers normal, vous devez aller dans le Répertoire, puis aller à la GRAISSE, obtenir les emplacements de tous les blocs et de les lire. La même chose arrive avec HDFS.
    Si vous voulez lire le fichier, vous allez sur le Namenode, obtenez la liste des blocs le fichier donné en ont. Cette information sur les blocs contiendra la liste de datanodes où cette information assis. Après vous allez à la datanode et pertinente des blocs d'eux.

    InformationsquelleAutor David Gruzman
  2. 2
    1. La fsimage sur le nom de nœud est dans un format binaire. Utiliser le "mode Hors connexion de la Visionneuse d'Images" pour vider les fsimage dans un format lisible par l'homme. La sortie de cet outil peut être analysé plus en détail de porc ou un autre outil pour obtenir des données plus significatives.

    http://hadoop.apache.org/hdfs/docs/r0.21.0/hdfs_imageviewer.html

    InformationsquelleAutor Praveen Sripati
  3. 1
    1. oui
    2. non, à part les blocs eux-mêmes
    3. oui, si vous avez de nombreux petits fichiers
    4. non, l'info sur le fichier est sur le Namenode, le fichier lui-même est sur Datanodes (un datanode pourrait, en théorie, être sur la même machine, et c'est souvent sur des clusters plus petits)
    InformationsquelleAutor johndodo
  4. 1

    3) Lorsque le pas.de fichiers sont tellement énormes , un seul Namenode ne sera pas en mesure de garder tous les métadonnées . En fait, c'est une des limitations de HDFS . Vous pouvez le vérifier HDFS Fédération qui vise à remédier à ce problème en se divisant en différents espaces desservis par les différents namenodes .

    4)

    Read process :    
a) Client first gets the datanodes where the actual data is located from the namenode 
b) Then it directly contacts the datanodes to read the data

Write process : 
a) Client asks namenode for some datanodes to write the data and if available Namenode gives them 
b)Client goes directly to the datanodes and write
    InformationsquelleAutor hari_sree
  5. 0

    Pour le numéro de la question 4. Le Client ne fait qu'écrire des données directement à Datanode. Cependant, avant de pouvoir écrire à un DataNode, il doit parler le Namenode pour obtenir metatdata comme qui Datanode et qui bloquent à écrire à.

    InformationsquelleAutor Jing Wang
  6. 0

    1. Oui, NameNode gère ces. Souvent aussi ces données seront enregistrées dans fsimage et de modifier les fichiers qui seront sur le disque local.

    2. Non, toutes les métadonnées seront tenues par le NameNode. En raison de laquelle le datanode fardeau sera moins pour maintenir les métadonnées.

    3. Il n'y aura plus qu'un NameNode. Comme je l'ai dit à gérer la limite de métadonnées taille, les données seront fréquemment enregistrés dans fsimage et des modifications à travers les points de contrôle.

    4. Client peut contacter le DataNode une fois qu'il obtient les informations de fichier à partir de NameNode.

    InformationsquelleAutor Nandakishore