Comment puis-je ungzip (décompresser) un NodeJS demande du module gzip corps de la réponse?

Comment décompresser un format gzip corps à une demande du module de la réponse?

J'ai essayé plusieurs exemples à travers le web, mais aucun d'eux ne semble fonctionner.

request(url, function(err, response, body) {
    if(err) {
        handleError(err)
    } else {
        if(response.headers['content-encoding'] == 'gzip') {    
            //How can I unzip the gzipped string body variable?
            //For instance, this url:
            //http://highsnobiety.com/2012/08/25/norse-projects-fall-2012-lookbook/
            //Throws error:
            //{ [Error: incorrect header check] errno: -3, code: 'Z_DATA_ERROR' }
            //Yet, browser displays page fine and debugger shows its gzipped
            //And unzipped by browser fine...
            if(response.headers['content-encoding'] && response.headers['content-encoding'].toLowerCase().indexOf('gzip') > -1) {   
                var body = response.body;                    
                zlib.gunzip(response.body, function(error, data) {
                    if(!error) {
                        response.body = data.toString();
                    } else {
                        console.log('Error unzipping:');
                        console.log(error);
                        response.body = body;
                    }
                });
            }
        }
    }
}

Ne pas le navigateur de manière transparente le faire?
J'ai ajouté de l'node.js tag, mais je reçois ce que ne précise pas... permettez-moi de modifier le post...
vous pouvez enregistrer les données dans un fichier req.gz et décompressez-le en ligne de commande? Si oui, qu'est-ce que la sortie de gunzip req.gz et file req.gz
Salut Andrew! Merci pour la suggestion. Si j'ai enregistrer le fichier à un "req.gz" fichier, extraire sur le bureau produit un fichier nommé "req.gz.cpgz". Extacting ce fichier à son tour produit un 3ème fichier namded "req. 2.gz". Le corps de la requête a été encodé en utf8 (la réponse.setEncoding('utf8')) avant la lecture du corps. Cependant, il ne semble pas faire une différence. Je reçois le même message d'erreur et similaires de bureau, le fichier de résultats.
demande 3.0 ajouter la prise en charge automatique pour cette fois nœud v0.10 vient de sortir

InformationsquelleAutor izk | 2012-08-27

Je ne pouvais pas obtenir la demande de travail non plus, donc fini à l'aide de http à la place.

var http = require("http"),
    zlib = require("zlib");

function getGzipped(url, callback) {
    //buffer to store the streamed decompression
    var buffer = [];

    http.get(url, function(res) {
        //pipe the response into the gunzip to decompress
        var gunzip = zlib.createGunzip();            
        res.pipe(gunzip);

        gunzip.on('data', function(data) {
            //decompression chunk ready, add it to the buffer
            buffer.push(data.toString())

        }).on("end", function() {
            //response and decompression complete, join the buffer and return
            callback(null, buffer.join("")); 

        }).on("error", function(e) {
            callback(e);
        })
    }).on('error', function(e) {
        callback(e)
    });
}

getGzipped(url, function(err, data) {
   console.log(data);
});

J'ai fini par faire de même... merci!
enfin!!! J'ai été pover régler les en-têtes d'accepter gzip et essayer de proxy et de toutes sortes de choses, mais cela a fait le tour de travailler avec le stackoverflow API! Une petite chose: var gunzip = gzip.createGunzip(); devrait être var gunzip = zlib.createGunzip();
Grâce mlunoe, il fixe.
J'ai essayé d'utiliser toutes les méthodes pour faire la demande, mais a échoué. Celui-ci fonctionne!
Cela fonctionne, mais il est beaucoup plus mieux et le plus facile pour ce faire mettre quelques options sur demande module. Merci de lire ma réponse ci-dessous.
Quelqu'un peut-il guider l'endroit où placer ce code?

InformationsquelleAutor WearyMonkey

34

essayez d'ajouter encoding: null les options que vous avez passer à request, cela permettra d'éviter la conversion de la téléchargé le corps d'une chaîne et de le conserver dans un buffer binaire.
- J'ai eu le même problème, cette option d'encodage a fonctionné pour moi. Merci!!!!!
InformationsquelleAutor Iftah

Comme @Iftah dit, définir encoding: null.

Exemple complet (moins d'erreur de manipulation):

request = require('request');
zlib = require('zlib');

request(url, {encoding: null}, function(err, response, body){
    if(response.headers['content-encoding'] == 'gzip'){
        zlib.gunzip(body, function(err, dezipped) {
            callback(dezipped.toString());
        });
    } else {
        callback(body);
    }
});

InformationsquelleAutor Andrew Homeyer

25

En fait la demande module gère le gzip réponse. Pour raconter la demande de module pour décoder le corps de l'argument dans la fonction de rappel, Nous avons à définir la "gzip" pour de vrai dans les options. Permettez-moi de vous expliquer avec un exemple.

Exemple:
```
var opts = {
  uri: 'some uri which return gzip data',
  gzip: true
}

request(opts, function (err, res, body) {
 //now body and res.body both will contain decoded content.
})
```
Note: Les données que vous obtenez sur 'reponse' événement n'est pas décodé.

Cela fonctionne pour moi. Espérons que cela fonctionne pour vous les gars aussi.

Le problème similaire généralement que nous avons rencontré pendant le travail avec la demande de module JSON de l'analyse. Permettez-moi de l'expliquer. Si tu veux demander module pour analyser automatiquement le corps et de vous fournir le contenu JSON dans le corps de l'argument. Ensuite, vous devez définir 'json' pour de vrai dans les options.
```
var opts = {
  uri:'some uri that provides json data', 
  json: true
} 
request(opts, function (err, res, body) {
//body and res.body will contain json content
})
```
Référence: https://www.npmjs.com/package/request#requestoptions-callback
- Merci pour cet!! il fonctionne et je ne savais pas de demande de promesse avait un gzip drapeau.
- Vous êtes les bienvenus!. Content que ça vous a aidé. @StevenR
- cela devrait être lu de réponse. de nombreux tnks.
InformationsquelleAutor Sai Teja

J'ai formulé une plus réponse complète après avoir essayé les différentes façons de gunzip, et de résoudre les erreurs à voir avec l'encodage.

Espère que cela vous aide aussi:

var request = require('request');
var zlib = require('zlib');

var options = {
  url: 'http://some.endpoint.com/api/',
  headers: {
    'X-some-headers'  : 'Some headers',
    'Accept-Encoding' : 'gzip, deflate',
  },
  encoding: null
};

request.get(options, function (error, response, body) {

  if (!error && response.statusCode == 200) {
    //If response is gzip, unzip first
    var encoding = response.headers['content-encoding']
    if (encoding && encoding.indexOf('gzip') >= 0) {
      zlib.gunzip(body, function(err, dezipped) {
        var json_string = dezipped.toString('utf-8');
        var json = JSON.parse(json_string);
        //Process the json..
      });
    } else {
      //Response is not gzipped
    }
  }

});

InformationsquelleAutor samwize

Comme on le voit dans https://gist.github.com/miguelmota/9946206:

À la fois la demande et de la demande-la promesse de la poignée de la boîte de Dec 2017:

var request = require('request')
  request(
    { method: 'GET'
    , uri: 'http://www.google.com'
    , gzip: true
    }
  , function (error, response, body) {
      //body is the decompressed response body
      console.log('server encoded the data as: ' + (response.headers['content-encoding'] || 'identity'))
      console.log('the decoded data is: ' + body)
    }
  )

Ce doit être la accepté de répondre maintenant!

InformationsquelleAutor Francisco Carriedo Scher

Voici mes deux cents. J'ai eu le même problème et trouvé une belle bibliothèque appelée concat-stream:

let request = require('request');
const zlib = require('zlib');
const concat = require('concat-stream');

request(url)
  .pipe(zlib.createGunzip())
  .pipe(concat(stringBuffer => {
    console.log(stringBuffer.toString());
  }));

Ce fut la seule approche que travaillé pour moi quand le fichier distant est en fait un .gz fichier, pré-comprimé.

InformationsquelleAutor Mark Robson

Voici un exemple de travail (en utilisant le module de demande de nœud) qui gunzips la réponse

function gunzipJSON(response){

    var gunzip = zlib.createGunzip();
    var json = "";

    gunzip.on('data', function(data){
        json += data.toString();
    });

    gunzip.on('end', function(){
        parseJSON(json);
    });

    response.pipe(gunzip);
}

Code complet: https://gist.github.com/0xPr0xy/5002984

Merci un tas. J'ai eu des problèmes avec elle et utilisé vos solution, fonctionne parfaitement.
très joliment fait. Thx pour les gist.

InformationsquelleAutor user764155

1

Avec eu, un request alternative, vous pouvez tout simplement faire:
```
got(url).then(response => {
    console.log(response.body);
});
```
De décompression est effectué automatiquement en cas de besoin.

InformationsquelleAutor Sindre Sorhus

Vous devez vous connecter pour publier un commentaire.

Exemple: