Lire fichier distant avec node.js (http.get)

Quel est le meilleur moyen de lire un fichier distant? Je veux obtenir le fichier en entier (pas de morceaux).

J'ai commencé avec l'exemple suivant

var get = http.get(options).on('response', function (response) {
    response.on('data', function (chunk) {
        console.log('BODY: ' + chunk);
    });
});

Je veux analyser le fichier csv, cependant, pour cela j'ai besoin de tout le fichier plutôt que de fragments de données.

InformationsquelleAutor | 2013-01-27
  1. 81

    J'utiliserais demande pour cela:

    request('http://google.com/doodle.png').pipe(fs.createWriteStream('doodle.png'))

    Ou si vous n'avez pas besoin d'enregistrer dans un fichier, et vous avez juste besoin de lire le fichier CSV dans la mémoire, vous pouvez effectuer les opérations suivantes:

    var request = require('request');
request.get('http://www.whatever.com/my.csv', function (error, response, body) {
    if (!error && response.statusCode == 200) {
        var csv = body;
        //Continue with your processing here.
    }
});

    etc.

    • de toute façon pour ce faire nativement, semble exagéré pour inclure une dépendance pour un seul fichier?
    • la demande est assez standard, et juste encapsule ces "indigènes" des appels dans un endroit propre format.
    • Le nœud est très léger et qui comprend presque rien d'autre que le strict minimum, donc, contrairement à PHP, il est vraiment préférable d'obtenir utilisé à l'aide de beaucoup de modules. Tenir à jour est facile (parce que package.json) et ils sont généralement très rapide.
    • J'ai trouvé que je devais définir le codage de la valeur null lors de l'adoption de cette réponse à l'appui de fichiers image: demande.get({ url: 'www.whatever.com/my.csv', encoding: null }, (err, res, corps) => { ... })
    • Assez standard avec seulement 22 dépendances. C'est cool.
    • Est-ce à attendre pour enregistrer le fichier entier à la mémoire? Comment puis-je diffuser les données entrantes comme avec pipe (), mais sans écrire les données?
    • Je crois que cela pourrait être utile dans ce cas, stackoverflow.com/questions/53063137/...
    • Pourrait plus les lignes ajoutées au fichier en cours de lecture ici et le fichier final disponible pour le téléchargement?

    InformationsquelleAutor 7zark7
  2. 17
    http.get(options).on('response', function (response) {
    var body = '';
    var i = 0;
    response.on('data', function (chunk) {
        i++;
        body += chunk;
        console.log('BODY Part: ' + i);
    });
    response.on('end', function () {

        console.log(body);
        console.log('Finished');
    });
});

    Des modifications à ce qui fonctionne. Tous les commentaires?

    InformationsquelleAutor
  3. 3

    Vous pouvez faire quelque chose comme cela, sans utiliser de bibliothèques externes. 

    const fs = require("fs");
const https = require("https");

const file = fs.createWriteStream("data.txt");

https.get("https://www.w3.org/TR/PNG/iso_8859-1.txt", response => {
  var stream = response.pipe(file);

  stream.on("finish", function() {
    console.log("done");
  });
});
    InformationsquelleAutor Freddy
  4. 0
    function(url,callback){
    request(url).on('data',(data) => {
        try{
            var json = JSON.parse(data);    
        }
        catch(error){
            callback("");
        }
        callback(json);
    })
}

    Vous pouvez également utiliser cette. C'est async flux. L'erreur vient quand la réponse n'est pas au format JSON. Également dans le code d'état 404 .

    InformationsquelleAutor Sarath Kumar Rajendran