AVERTIR snappy.LoadSnappy: Snappy bibliothèque native n'est pas chargé

quoi que je fasse, je ne peux pas me débarrasser de cette erreur. Je sais snappy est un rapide et donc préférable de compression/décompression de la bibliothèque sur les autres options. Je voudrais utiliser cette bibliothèque pour mon traitement. Pour autant que je sais que Google l'utilise en interne pour leur BigTables, MapReduce (essentiellement pour l'ensemble de leurs applications de tueur). J'ai fait des recherches sur mon propre. Les gens suggèrent de ne pas l'utiliser, ou java-snappy comme une option, mais je veux rester avec hadoop snappy. J'ai à la bibliothèque correspondante dans mon installation. (Je veux dire dans lib)

Quelqu'un pourrait-il corriger cette erreur? Je vois que les travaux sont effectués avec succès, indépendamment de cette erreur.

****hdfs://localhost:54310/user/hduser/gutenberg
12/06/01 18:18:54 INFO input.FileInputFormat: Total input paths to process : 3
12/06/01 18:18:54 INFO util.NativeCodeLoader: Loaded the native-hadoop library
12/06/01 18:18:54 WARN snappy.LoadSnappy: Snappy native library not loaded
12/06/01 18:18:54 INFO mapred.JobClient: Running job: job_201206011229_0008
12/06/01 18:18:55 INFO mapred.JobClient:  map 0% reduce 0%
12/06/01 18:19:08 INFO mapred.JobClient:  map 66% reduce 0%
12/06/01 18:19:14 INFO mapred.JobClient:  map 100% reduce 0%
12/06/01 18:19:17 INFO mapred.JobClient:  map 100% reduce 22%
12/06/01 18:19:23 INFO mapred.JobClient:  map 100% reduce 100%
12/06/01 18:19:28 INFO mapred.JobClient: Job complete: job_201206011229_0008
12/06/01 18:19:28 INFO mapred.JobClient: Counters: 29
12/06/01 18:19:28 INFO mapred.JobClient:   Job Counters 
12/06/01 18:19:28 INFO mapred.JobClient:     Launched reduce tasks=1
12/06/01 18:19:28 INFO mapred.JobClient:     SLOTS_MILLIS_MAPS=22810
12/06/01 18:19:28 INFO mapred.JobClient:     Total time spent by all reduces waiting after reserving slots (ms)=0
12/06/01 18:19:28 INFO mapred.JobClient:     Total time spent by all maps waiting after reserving slots (ms)=0
12/06/01 18:19:28 INFO mapred.JobClient:     Launched map tasks=3
12/06/01 18:19:28 INFO mapred.JobClient:     Data-local map tasks=3
12/06/01 18:19:28 INFO mapred.JobClient:     SLOTS_MILLIS_REDUCES=14345
12/06/01 18:19:28 INFO mapred.JobClient:   File Output Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:     Bytes Written=880838
12/06/01 18:19:28 INFO mapred.JobClient:   FileSystemCounters
12/06/01 18:19:28 INFO mapred.JobClient:     FILE_BYTES_READ=2214849
12/06/01 18:19:28 INFO mapred.JobClient:     HDFS_BYTES_READ=3671878
12/06/01 18:19:28 INFO mapred.JobClient:     FILE_BYTES_WRITTEN=3775339
12/06/01 18:19:28 INFO mapred.JobClient:     HDFS_BYTES_WRITTEN=880838
12/06/01 18:19:28 INFO mapred.JobClient:   File Input Format Counters 
12/06/01 18:19:28 INFO mapred.JobClient:     Bytes Read=3671517
12/06/01 18:19:28 INFO mapred.JobClient:   Map-Reduce Framework
12/06/01 18:19:28 INFO mapred.JobClient:     Map output materialized bytes=1474341
12/06/01 18:19:28 INFO mapred.JobClient:     Map input records=77932
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce shuffle bytes=1207328
12/06/01 18:19:28 INFO mapred.JobClient:     Spilled Records=255962
12/06/01 18:19:28 INFO mapred.JobClient:     Map output bytes=6076095
12/06/01 18:19:28 INFO mapred.JobClient:     CPU time spent (ms)=12100
12/06/01 18:19:28 INFO mapred.JobClient:     Total committed heap usage (bytes)=516882432
12/06/01 18:19:28 INFO mapred.JobClient:     Combine input records=629172
12/06/01 18:19:28 INFO mapred.JobClient:     SPLIT_RAW_BYTES=361
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce input records=102322
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce input groups=82335
12/06/01 18:19:28 INFO mapred.JobClient:     Combine output records=102322
12/06/01 18:19:28 INFO mapred.JobClient:     Physical memory (bytes) snapshot=605229056
12/06/01 18:19:28 INFO mapred.JobClient:     Reduce output records=82335
12/06/01 18:19:28 INFO mapred.JobClient:     Virtual memory (bytes) snapshot=2276663296
12/06/01 18:19:28 INFO mapred.JobClient:     Map output records=629172

P. S.: Actuellement, je travaille avec un petit dataset où la rapidité de compression et de décompression n'a pas vraiment d'importance. Mais une fois que j'ai un travail de flux de travail, je vais le charger avec de grands ensembles de données.

Avez-vous suivi les instructions d'installation sur tous les nœuds de votre cluster? code.google.com/p/hadoop-snappy

OriginalL'auteur Bob | 2012-06-04

  1. 2

    Vous verrez ce message d'erreur si la bibliothèque partagée (.donc) pour snappy est pas situé sur la LD_LIBARAY_PATH /java.library.path. Si vous avez les bibliothèques installé au bon endroit, alors vous ne devriez pas voir au-dessus de messages d'erreur.

    Si vous avez l' .donc, installé dans le même dossier que le hadoop natif lib (libhadoop.so), puis au-dessus de la "erreur" pourrait être lié au nœud que vous soumettez vos travaux de (comme vous le dites, votre travail n'a pas d'erreur et ça ressemble à un message sur le côté client).

    Pouvez-vous partager quelques détails de votre configuration de travail (où vous configurez votre format de sortie, et les options de compression).

    Comment faire pour installer ces bibliothèques ? J'ai .donc les fichiers dans $HADOOP_HOME/lib/native/Linux-amd64-64/libhadoop..Que diriez-snappy ? Est-ce snappy.donc les fichiers ?
    Oui, vous aurez besoin de la .donc les fichiers, mais le dossier dépend de votre OS / architecture etc
    Et l'installer docs devrait être suffisant pour commencer: code.google.com/p/hadoop-snappy

    OriginalL'auteur Chris White