Ce n' “Taille de Segment de mémoire” pour Namenode Hadoop?

J'essaie de comprendre si il ya quelque chose de mal avec mon cluster Hadoop.
Quand je vais à l'INTERFACE web en cluster résumé, il dit:

Cluster Summary

XXXXXXX files and directories, XXXXXX blocks = 7534776 total.
Heap Size is 1.95 GB / 1.95 GB (100%)

Et je suis préoccupé pourquoi est-ce Tas de taille métrique à 100%

Quelqu'un pourrait-veuillez fournir des explications comment namenode tas impact de la taille de cluster de performance. Et si cela doit être corrigé.

OriginalL'auteur Bohdan | 2014-03-06

  1. 6

    Le namenode Web de l'INTERFACE utilisateur montre les valeurs comme ceci:

    <h2>Cluster Summary (Heap Size is <%= StringUtils.byteDesc(Runtime.getRuntime().totalMemory()) %>/<%= StringUtils.byteDesc(Runtime.getRuntime().maxMemory()) %>)</h2>

    La Runtime ces documents comme:

    • totalMemory() Retourne la quantité totale de mémoire dans la machine virtuelle Java.
    • maxMemory() Retourne la quantité maximale de mémoire que la machine virtuelle Java va tenter d'utiliser

    Max va être la -Xmx paramètre à partir du début du service de la commande. La mémoire totale principal facteur est le nombre de blocs dans votre cluster HDFS. Le namenode nécessite ~150 octets pour chaque bloc, +16 octets pour chaque réplique, et il doit être gardé dans la mémoire vive. Donc par défaut un facteur de réplication de 3 vous donne 182 octets, et vous avez 7534776 blocs donne environ 1,3 GO. En Plus de tous les autres non-lié à un fichier de la mémoire en cours d'utilisation dans le namenode, 1.95 GO de sons sur la droite. Je dirais que votre taille de cluster HDFS exige qu'un plus grand namenode, plus de RAM. Si possible, augmenter le namenode de démarrage -Xmx. Si maxed, vous aurez besoin d'un plus grand VM/boîte physique.

    Lire Les Petits Fichiers Problesm, HDFS-5711.

    OriginalL'auteur Remus Rusanu