Node.js: Comment faire pour lire un flux de données dans une mémoire tampon?

Globalement, je ne vois pas ce qui allait se briser dans votre code.

Deux suggestions:

La façon dont vous combinez Buffer objets est une sous-optimale car il a copier toutes les données déjà existantes sur tous les "données" de l'événement. Il serait mieux de mettre les morceaux dans un tableau et concat tous à la fin.

var bufs = [];
stdout.on('data', function(d){ bufs.push(d); });
stdout.on('end', function(){
var buf = Buffer.concat(bufs);
}

Pour la performance, je veux le regarder dans si le S3 bibliothèque que vous utilisez prend en charge les flux. Idéalement, vous n'avez pas besoin de créer une grande mémoire tampon à tous, et, au lieu de simplement passer les stdout flux directement vers le S3 bibliothèque.

Comme pour la deuxième partie de votre question, ce n'est pas possible. Lorsqu'une fonction est appelée, elle est allouée à son propre contexte, et tout ce que définies à l'intérieur de qui sera uniquement accessible à partir d'autres éléments définis à l'intérieur de cette fonction.

Mise à jour

Dumping le fichier du système de fichiers signifierait probablement moins de l'utilisation de la mémoire par la demande, mais le fichier IO peut être assez lent, il pourrait ne pas être en vaut la peine. Je dirais que vous ne devriez pas optimiser trop jusqu'à ce que vous pouvez le profil et le stress-test de cette fonction. Si le garbage collector est en train de faire son travail, vous pouvez être overoptimizing.

Avec tout ce que dit, il existe de meilleures façons de toute façon, donc ne l'utilisez pas les fichiers. Depuis tout ce que vous voulez est de la longueur, vous pouvez calculer que, sans avoir besoin d'ajouter tous les tampons ensemble, alors vous n'avez pas besoin d'allouer un nouveau Tampon à tous.

var pause_stream = require('pause-stream');
//Your other code.
var bufs = [];
stdout.on('data', function(d){ bufs.push(d); });
stdout.on('end', function(){
var contentLength = bufs.reduce(function(sum, buf){
return sum + buf.length;
}, 0);
//Create a stream that will emit your chunks when resumed.
var stream = pause_stream();
stream.pause();
while (bufs.length) stream.write(bufs.shift());
stream.end();
var headers = {
'Content-Length': contentLength,
//...
};
s3.putStream(stream, ....);

Un projet connexe est nœud-stream-tampon. Description: "de lecture et d'Écriture des Ruisseaux que l'utilisation de la sauvegarde des Tampons".

Je veux juste poster ma solution. Réponse à la question précédente a été très utile pour mes recherches. J'utilise la longueur de cours d'eau pour obtenir la taille de la rivière, mais le problème ici est que le rappel est tiré près de la fin du flux, donc, j'utilise aussi les flux cache à cache le flux et le tuyau à res objet une fois que je connais la longueur du contenu. En cas d'erreur,

var StreamCache = require('stream-cache');
var lengthStream = require('length-stream');
var _streamFile = function(res , stream , cb){
var cache = new StreamCache();
var lstream = lengthStream(function(length) {
res.header("Content-Length", length);
cache.pipe(res);
});
stream.on('error', function(err){
return cb(err);
});
stream.on('end', function(){
return cb(null , true);
});
return stream.pipe(lstream).pipe(cache);
}