Charger des données dans Hbase table à l'aide de HBASE CARTE de RÉDUIRE les API

Je suis très nouveau pour Hbase et la Carte de Réduire l'API.
Je suis très confus avec la Carte de Réduire les concepts. J'ai besoin de Charger un fichier de texte dans Hbase table à l'aide de MAPReduce API. J'ai googlé quelques Exemples, mais à ce que je peux trouver MAPPEUR () pas de réducteur de méthode. Je suis confondu avec quand utiliser mappeur et quand les utiliser de Réducteur).

Je suis de la pensée dans la façon comme :

  1. Écrire des données sur un Hbase nous utilisons mappeur
  2. DE lire des données à partir de
    HBASE nous utilisons mappeur et réducteur). svp quelqu'un peut-il clair avec moi
    une explication détaillée.
  3. Je suis en train de charger des données depuis un fichier texte dans
    HBASE table. J'ai googlé et essayé un peu de code mais je ne sais pas, comment
    charger le fichier texte et de le lire dans HBASE mapreduce API.

Je remercie vraiment complet pour certains d'aide

OriginalL'auteur Navyah | 2012-08-31

  1. 5

    À l'égard de vos questions:

    • La Mappeur reçoit les divisions de données et renvoie une paire de clés, jeu de<valeur>
    • La Réducteur reçoit la sortie de la Mappeur et génère une paire <key, value>

    Généralement, sera votre Réducteur tâche qui va écrire les résultats (pour le système de fichiers ou à HBase), mais le Mappeur pouvez le faire aussi. Il y a MapReduce des emplois qui ne nécessitent pas une Réducteur. Quant à la lecture de HBase, c'est le Mappeur de classe qui a la configuration de la table à lire. Mais il n'y a rien liée à un Mapper est un lecteur et un Réducteur de l'écrivain. Cet article "HBase MapReduce Exemples" fournit de bons exemples sur la façon de lire et d'écrire dans HBase à l'aide de MapReduce.

    En tout cas, si ce que vous avez besoin est de l'importation en vrac de certains .les fichiers csv dans HBase, vous n'avez pas vraiment besoin de le faire avec un MapReduce travail. Vous pouvez le faire directement avec le HBase API. En pseudo-code:

    table = hbase.createTable(tablename, fields); 
foreach (File file: dir) {
   content = readfile(file);    
   hbase.insert(table, content); 
}

    J'ai écrit un importateur de .fichiers mbox dans HBase. Jetez un coup d'oeil au code, il peut vous donner quelques idées.

    Une fois que vos données sont importées dans HBase, puis vous avez besoin de code pour une MapReduce travail pour fonctionner avec les données.

    OriginalL'auteur Diego Pino

  2. 1

    À l'aide de HFileOutputFormat avec CompleteBulkLoad est le meilleur et le plus rapide pour charger les données dans HBase.
    Vous trouverez des exemples de code ici

    OriginalL'auteur Prasad D

  3. 0

    Voici quelques réponses de la mine que l'adresse de chargement de données dans HBASE.

    Quel est le moyen le plus rapide à charger en masse des données dans HBase par programmation?

    L'écriture de HBase dans MapReduce en utilisant MultipleOutputs

    EDIT: Ajout de lien du commentaire
    Ce lien peut aider à rendre les fichiers disponibles pour le traitement.

    Importer des bibliothèques externes dans une Hadoop MapReduce script

    J'ai besoin de Lire raw fichier Texte/fichier csv à partir du système en réduire la carte de l'emploi et de lire les données qui sont disponibles dans le fichier texte et de stocker les données récupérées dans Hbase table. les liens ci-dessus ne sont pas pour tâche
    Ajout d'un lien qui pourrait répondre aux besoins supplémentaires.
    J'ai besoin de lire le Fichier Csv /fichier Texte à partir d'un système local dans mapreduce de l'Emploi et de stocker les données dans htable. Je ne peux pas trouver toutes les méthodes de lecture d'un fichier à partir du système local, peut-u s'il vous plaît fournir quelques échantillons, je suis très nouveau pour Hadoop
    Vous ne pouvez pas lire le système de fichiers local. Les données doivent être sur le HDFS. Vous avez besoin soit de le mettre en premier et d'avoir ce que l'entrée ou de l'inclure en tant que "fichier" comme mon ajout d'un lien montre. Hadoop est un système distribué, il ne peut pas être certain qu'un fichier existant sur machineA existe sur machineB, afin de ne pas lire les fichiers locaux. (Il y a probablement un peu de bidouille pour le faire, mais ce n'est pas l'intention de hadoop) Ma suggestion est de mettre le fichier sur le HDFS d'abord, puis utiliser les concepts dans les 2 premiers liens.
    Mon hadoop est sur la Machine Distante et je suis entrain de créer une application dans l'éclipse de la lecture des données à partir de mon système local comme(d:workplace/input.csv). Ne puis-je pas utiliser le lien ci-dessus dans Mapreduce et de charger des données dans Htable

    OriginalL'auteur QuinnG