L'exécution de Porc requête sur les données stockées dans la Ruche

Je voudrais savoir comment faire pour exécuter des requêtes hive stocké dans la Ruche format. J'ai configuré la Ruche pour stocker des données compressées (à l'aide de ce tutoriel http://wiki.apache.org/hadoop/Hive/CompressedStorage).

Avant que j'ai utilisé juste normal d'utilisation de Porc la fonction de charge avec la Ruche du séparateur (^A). Mais maintenant, la Ruche stocke les données dans des fichiers de séquence avec la compression. Qui charge la fonction à utiliser?

Remarque qui n'ont pas besoin de fermer l'intégration comme mentionné ici: L'aide de la Ruche avec de Porc, juste ce que la fonction de charge à utiliser pour lire compressé les fichiers de séquence généré par Ruche.

Merci pour toutes les réponses.

InformationsquelleAutor wlk | 2011-04-21
  1. 5

    Voici ce que j'ai trouvé:
    À l'aide de HiveColumnarLoader a de sens que si vous stockez des données comme un RCFile. À la table de chargement à l'aide de cette fonction, vous devez enregistrer certains pots d'abord:

    register /srv/pigs/piggybank.jar
register /usr/lib/hive/lib/hive-exec-0.5.0.jar
register /usr/lib/hive/lib/hive-common-0.5.0.jar

a = LOAD '/user/hive/warehouse/table' USING org.apache.pig.piggybank.storage.HiveColumnarLoader('ts int, user_id int, url string');

    Pour charger des données à partir de fichiers de Séquence, vous devez utiliser Tirelire (comme dans l'exemple précédent). SequenceFile chargeur de Banque doit gérer des fichiers compressés:

    register /srv/pigs/piggybank.jar
DEFINE SequenceFileLoader org.apache.pig.piggybank.storage.SequenceFileLoader();
a = LOAD '/user/hive/warehouse/table' USING SequenceFileLoader AS (int, int);

    Cela ne fonctionne pas avec Cochon de 0,7 parce qu'il est incapable de lire BytesWritable type le et jette-le à la de Porc de type et vous obtenez cette exception:

    2011-07-01 10:30:08,589 WARN org.apache.pig.piggybank.storage.SequenceFileLoader: Unable to translate key class org.apache.hadoop.io.BytesWritable to a Pig datatype
2011-07-01 10:30:08,625 WARN org.apache.hadoop.mapred.Child: Error running child
org.apache.pig.backend.BackendException: ERROR 0: Unable to translate class org.apache.hadoop.io.BytesWritable to a Pig datatype
    at org.apache.pig.piggybank.storage.SequenceFileLoader.setKeyType(SequenceFileLoader.java:78)
    at org.apache.pig.piggybank.storage.SequenceFileLoader.getNext(SequenceFileLoader.java:132)
    at org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.PigRecordReader.nextKeyValue(PigRecordReader.java:142)
    at org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.nextKeyValue(MapTask.java:448)
    at org.apache.hadoop.mapreduce.MapContext.nextKeyValue(MapContext.java:67)
    at org.apache.hadoop.mapreduce.Mapper.run(Mapper.java:143)
    at org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:639)
    at org.apache.hadoop.mapred.MapTask.run(MapTask.java:315)
    at org.apache.hadoop.mapred.Child$4.run(Child.java:217)
    at java.security.AccessController.doPrivileged(Native Method)
    at javax.security.auth.Subject.doAs(Subject.java:396)
    at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1063)
    at org.apache.hadoop.mapred.Child.main(Child.java:211)

    Comment compiler tirelire est décrit ici: Incapable de construire tirelire -> /home/build/ivy/lib n'existe pas

    InformationsquelleAutor wlk