Qu'est-ce que le fichier de séquence dans hadoop?

Je suis nouvelle Map-reduce et je veux comprendre ce qu'est le fichier de séquence de données d'entrée? J'ai étudié dans le Hadoop livre, mais il était difficile pour moi de comprendre.

Avez-vous essayer de googler?
Oui je l'ai fait. Le point est que les ressources n'étaient pas claires.
Je suppose que ce serait mieux si vous pouvez mettre une question spécifique de votre recherche.
Le point est qu'il existe de nombreuses ressources sur les fichiers de séquence dans l'internet. Mais je me demandais si quelqu'un peut facilement illustrer la structure de fichier de séquence?
Je veux dire ce qui est exactement la clé et de la valeur que nous devrions envisager dans un fichier de séquence. et qu'est-ce que leurs différences, avec un texte clair et comment est un fichier de séquence ressemble?

OriginalL'auteur Soghra Gargari | 2015-12-12

  1. 39

    Il faut d'abord comprendre ce que sont les problèmes liés à la SequenceFile essayer de résoudre, et puis comment peut-SequenceFile aider à résoudre les problèmes.

    Dans HDFS

    • SequenceFile est l'une des solutions aux petits problèmes de fichier dans Hadoop.
    • Fichier de petite taille est beaucoup plus petite que la SF de la taille du bloc(128 MO).
    • Chaque fichier, de répertoire, de les bloquer dans HDFS est représenté comme objet et occupe 150 octets.
    • 10 millions de fichiers, serait d'utiliser environ 3 gigaoctets de mémoire de NameNode.
    • Un milliard de fichiers n'est pas possible.

    Dans MapReduce

    • Carte tâches habituellement traiter un bloc de saisie à un moment (à l'aide de la valeur par défaut FileInputFormat).

    • Plus le nombre de fichiers est, plus le numéro de la Carte tâche nécessaire et le temps de travail peut être beaucoup plus lent.

    Petit fichier scénarios

    • Les fichiers sont des morceaux d'un grand fichier logique.
    • Les fichiers sont intrinsèquement petits, par exemple, des images.

    Ces deux cas nécessitent des solutions différentes.

    • Pour la première, écrire un programme pour concaténer les petits fichiers.(voir Nathan Marz de post sur un outil appelé le Consolidateur qui fait exactement ce)
    • Pour la seconde, une sorte de conteneur est nécessaire de regrouper les fichiers d'une certaine façon.

    Solutions Hadoop

    HAR fichiers

    • HAR(Hadoop Archives) ont été introduites pour réduire le problème de beaucoup de fichiers à mettre la pression sur le namenode mémoire.
    • Saic sont probablement mieux utilisé uniquement à des fins d'archivage.

    SequenceFile

    • Le concept de SequenceFile est de mettre chaque fichier de petite taille pour un plus grand fichier unique.

    • Par exemple, supposons qu'il y a 10 000 100 KO des fichiers, alors on peut écrire un programme pour les mettre dans un seul SequenceFile comme ci-dessous, où vous pouvez utiliser le nom de fichier de la clé et le contenu de la valeur.

      SequenceFile Fichier de Mise en page http://img.blog.csdn.net/20151213123516719

    • Certains avantages:

      1. Un plus petit nombre de la mémoire nécessaire sur NameNode. Continuer avec les 10 000 100 KO fichiers exemple,
        • Avant d'utiliser SequenceFile, de 10 000 objets occupent environ 4,5 MO de RAM dans NameNode.
        • Après l'utilisation de SequenceFile, 1 go de SequenceFile avec 8 HDFS des blocs, ces objets occupent environ 3,6 KO de RAM dans le NameNode.
      2. SequenceFile est splittable, convient donc parfaitement pour MapReduce.
      3. SequenceFile est la compression pris en charge.

    • Pris en charge les Compressions, la structure du fichier dépend du type de compression.

      1. Non compressé

      2. Dossier Compressé: Compresse chaque dossier est ajouté au fichier.
        record_compress_seq http://img.blog.csdn.net/20151213182753789

      3. Bloc Compressé
        这里写图片描述 http://img.blog.csdn.net/20151213183017236

        • Attend jusqu'à ce que les données atteint la taille d'un bloc à compresser.
        • Bloc de compression de fournir un meilleur taux de compression que d'Enregistrement de la compression.
        • Bloc de compression est généralement l'option privilégiée lors de l'utilisation de SequenceFile.
        • Bloc ici est sans rapport avec HDFS ou bloc de système de fichiers.
    Vous êtes sûr que le lien fonctionne? Désolé, je ne pourrais pas ouvrir le lien.
    Le lien est mort. Lien seules réponses sont considéré de mauvaise réponse.
    Meilleure réponse JiaMing, Merci

    OriginalL'auteur JiaMing Lin