HDFS facteur de réplication

Lorsque j'upload un fichier HDFS, si je mets le facteur de réplication à 1 alors le fichier divise va résider sur une seule machine ou le grand écart serait distribué sur plusieurs machines sur le réseau ?

hadoop fs -D dfs.replication=1 -copyFromLocal file.txt /user/ablimit

OriginalL'auteur ablimit | 2011-10-03

  1. 11

    Selon la Hadoop : Guide Définitif

    Hadoop par défaut de la stratégie est de placer la première réplique sur le même nœud que le client (pour
    les clients à l'extérieur de la grappe, un nœud est choisi au hasard, bien que le système
    essaie de ne pas choisir les nœuds qui sont trop ou trop occupé). La deuxième réplique est placé sur une
    différents rack à partir de la première (rack), choisis au hasard. La troisième réplique est placé sur
    le même rack que la seconde, mais sur un autre nœud choisi au hasard. Plus de répliques
    sont placés au hasard sur les nœuds du cluster, bien que le système essaie d'éviter de placer les
    trop de répliques sur le même rack.

    Cette logique est logique puisqu'elle diminue le réseau de chatter entre les différents nœuds. Mais, le livre a été publié en 2009 et il y a eu beaucoup de changements dans le framework Hadoop.

    Je pense que cela dépend, si le client est la même qu'un nœud Hadoop ou pas. Si le client est un nœud Hadoop, puis tous les refontes sont sur le même nœud. Ce n'assure pas de meilleur débit de lecture/écriture, en dépit d'avoir plusieurs nœuds dans le cluster. Si le client n'est pas le même que le nœud Hadoop, alors le nœud est choisi au hasard pour chaque division, de sorte que les fentes sont répartis sur les nœuds d'un cluster. Maintenant, cela fournit un meilleur débit de lecture/écriture.

    Un avantage de l'écriture à plusieurs nœuds, c'est que même si un nœud tombe en panne, un couple de divisions peut-être en panne, mais au moins certaines données peuvent être récupérées en quelque sorte le reste de la divise.

    Je pense que vous avez la dernière affirmation n'est pas correcte. Si un nœud est en panne et il a des blocs de données d'entrée, il n'existe aucun moyen pour NameNode pour récupérer le fichier, ou même à la main les blocs restants (en Supposant que facteur de réplication de 1)
    #tempête de cerveau, Vous avez absolument raison.
    Bloc emplacement le choix de la stratégie est documenté de manière différente dans les hadoop docs , veuillez consulter hadoop.apache.org/docs/current/hadoop-project-dist/hadoop-hdfs/....

    OriginalL'auteur Praveen Sripati

  2. 1

    Si vous définissez la réplication à 1, alors le fichier sera présent uniquement sur le nœud client, qui est le nœud de l'endroit où vous téléchargez le fichier.

    C'est vrai forum le nœud client gère également un DataNode service.
    Est-ce le cas même si le local de client datanode est plein? c'est à dire sera la copie échoue, par opposition à l'aide d'un autre DN?

    OriginalL'auteur Hari Menon

  3. 0
    • Si votre cluster est seul nœud, puis lorsque vous téléchargez un fichier, il sera renversé en fonction de la taille des blocs et il reste de la machine.
    • Si votre cluster est Multi-nœud puis, quand vous téléchargez un fichier, il sera renversé en fonction de la taille des blocs et il sera distribué à différents datanode dans votre cluster par pipeline et par NameNode va décider de l'endroit où les données doivent être déplacés dans le cluster.

    HDFS facteur de réplication est utilisé pour faire une copie des données (j'.e) si votre réplicateur de facteur est 2 alors toutes les données que vous téléchargez vers HDFS aurez une copie.

    Que faire si vous modifiez le facteur de réplication de la valeur dans hdfs-site.xml une fois qu'un fichier a été téléchargé vers hdfs - le système automatiquement le reproduire ou auriez-vous besoin pour exécuter une hdfs équilibrage de la commande?

    OriginalL'auteur Chandru