Hadoop, comment compresser sortie de la cartographie, mais pas le réducteur de sortie

J'ai une map-reduce programme java dans lequel j'essaie de ne se compriment la sortie de la cartographie, mais pas le réducteur de sortie. J'ai pensé que cela serait possible en définissant les propriétés suivantes dans la Configuration de l'instance comme indiqué ci-dessous. Cependant, lorsque j'exécute mon travail, la sortie générée par le réducteur est toujours compressé depuis le fichier généré est: part-r-00000.gz. Quelqu'un a réussi à juste comprimé le mappeur de données, mais pas le réducteur? Est-il même possible?

//Compresser sortie de la cartographie

conf.setBoolean("mapred.output.compress", true);
conf.set("mapred.output.compression.type", CompressionType.BLOCK.toString());
conf.setClass("mapred.output.compression.codec", GzipCodec.class, CompressionCodec.class);

InformationsquelleAutor Marcin | 2011-04-06

21

Avec MR2, maintenant, nous devons définir
```
conf.set("mapreduce.map.output.compress", true)
conf.set("mapreduce.output.fileoutputformat.compress", false)
```
Pour plus de détails, voir: http://hadoop.apache.org/docs/stable/hadoop-mapreduce-client/hadoop-mapreduce-client-core/mapred-default.xml
- Dans le cas où quelqu'un est intéressé comment cela fonctionne pour avro, depuis avro prend en charge uniquement snappy et dégonfler, cette configuration est le meilleur. Le dernier réduit les noms de fichier ne change pas, cependant, vous pourrez observer que la taille des fichiers de changer en raison de la compression interne au niveau de l'îlot. Plus de détails ici: quora.com/Can-avro-data-files-be-lzop-compressed-in-Hadoop
- Êtes-vous à la définition de ces paramètres lors de l'ajout des mesures pour EMR?
InformationsquelleAutor fengyun
54

mapred.compresser.carte.sortie: Est la compression de données entre le mappeur et le réducteur. Si vous utilisez snappy codec ce sera probablement augmenter de lecture vitesse d'écriture et de réduire la surcharge du réseau. Ne vous inquiétez pas cracher ici. Ces fichiers ne sont pas stockées dans hdfs. Ils sont des fichiers temporaires qui n'existent que pour la carte de réduire l'emploi.

mapred.carte.de sortie.la compression.codec: je voudrais utiliser snappy

mapred.de sortie.compresser: Cet indicateur booléen définira est l'ensemble de la carte/réduire le job de sortie des données compressées. Je serais toujours la définir à vrai également. Plus rapide des vitesses de lecture/écriture et disque en moins espacé utilisé.

mapred.de sortie.la compression.type: j'ai utiliser le bloc. Cela permettra à la compression splittable même pour tous les formats de compression (gzip, accrocheur, et bzip2) assurez-vous simplement que vous êtes à l'aide d'un splitable format de fichier comme séquence, RCFile, ou Avro.

mapred.de sortie.la compression.codec: c'est le codec de compression pour le travail map/reduce. J'utilise surtout l'un des trois: Snappy (plus Rapide r/w 2x-3x compression), gzip (normal r rapide w 5x-8x compression), bzip2 (lente r/w 8x-12x compression)

Souviens aussi de la compression mapred de sortie, qu'en raison du découpage de la compression diffère de base sur votre ordre de tri. La proximité comme des données est le meilleur de la compression.
- Comment puis-je savoir si la carte de sortie qui a fait en comprimé? En comparant la "Carte octets de sortie" sans compression et avec la compression? Je vois que ma carte octets de sortie est d'environ 91 GB. Est-il un bon candidat pour la sortie de carte de compression? En général, comment pourrais-je trouver de bons candidats pour la carte de sortie de la compression. Est la "carte octets de sortie" un bon indicateur?
- hadoop 2.* la version utilise maintenant mapreduce.*.*, lire ma réponse ci-dessous
- Pouvez-vous veuillez donner des précisions ", sa volonté de faire de la compression splittable même pour tous les formats de compression" ? Dans mon expérience, gz n'est pas vraiment splittable. Vous obtenez des fichiers stockés sur plusieurs blocs, mais quand mappeurs de les lire, à seulement 1 mappeur est engendré par fichier. Cela signifie que tous les blocs, sauf pour le premier sont récupérées sur le réseau
InformationsquelleAutor ted.malaska
12

de sortie"compression" de compresser votre résultat final. Pour compresser la carte-sorties uniquement, utiliser quelque chose comme ceci:
```
  conf.set("mapred.compress.map.output", "true")
  conf.set("mapred.output.compression.type", "BLOCK"); 
  conf.set("mapred.map.output.compression.codec", "org.apache.hadoop.io.compress.GzipCodec"); 
```
- À l'aide de gzip comme compresseur n'est pas une bonne idée. Le principal problème est qu'il n'est pas splittable.
- Pourquoi? Je pensais que la sortie de la cartographie n'obtient pas de split, à seulement si vous utilisez le réducteur ou l'identité réducteur de la sortie peut obtenir split.
- Ma compréhension est à l'aide de GZIP pour compresser les données d'entrée n'est pas une bonne idée. et la raison en est qu'il n'est pas splittable. Il n'y a pas de problème pour l'utilisation de gzip pour la carte de sortie.
- Gzip est juste un peu plus lent que les autres algorithmes comme LZO et Accrocheur, mais vous ne obtenez le meilleur taux de compression avec Gzip. Pour ce que ça vaut, AWS DME par défaut Snappy
InformationsquelleAutor vpk
2
1. Vous devez régler "mapred.compresser.carte.sortie" à true.
2. En option, vous pouvez choisir votre codec de compression par le paramètre "mapred.carte.de sortie.la compression.codec".
  NOTE1: mapred compression de la sortie ne devrait jamais être le BLOC. Voir la suite de JIRA pour plus de détails:
  https://issues.apache.org/jira/browse/HADOOP-1194
  NOTE2: GZIP et BZ2 consomment beaucoup de ressources PROCESSEUR. Si vous avez de réseau lent et GZIP ou BZIP2 donne de meilleurs taux de compression, il peut justifier les dépenses de cycles CPU. Sinon, envisagez LZO ou Snappy codec.
  
  NOTA 3: si vous souhaitez utiliser une carte de sortie de la compression, envisager d'installer les codecs natifs qui est invoquée via JNI et vous donne de meilleures performances.
- Suite à cela, peut-on compresser le mappeur de valeurs et de ne pas les clés?
- Ce n'est pas une option.
InformationsquelleAutor root1982
1

Si vous utilisez MapR de distribution d'Hadoop, vous pouvez obtenir les avantages de la compression sans tous les folderol avec les codecs.

MapR comprime nativement au niveau du système de fichiers, de sorte que l'application n'a pas besoin de savoir ou de soins. La Compression peut être activée ou désactivée au niveau du répertoire de sorte que vous pouvez compresser les entrées, mais pas de sorties ou de ce que vous voulez. En général, la compression est tellement rapide (il utilise un algorithme similaire à vif par défaut) que la plupart des applications, voir une amélioration des performances lors de l'utilisation de compression natif. Si vos fichiers sont déjà compressés, qui est détectée très rapidement et la compression est désactivée automatiquement de sorte que vous ne voyez pas une pénalité, soit.

InformationsquelleAutor Ted Dunning

Vous devez vous connecter pour publier un commentaire.