Analyse la sortie de l'a engendré node.js processus enfant ligne par ligne

J'ai un PhantomJS/CasperJS script sur lequel je suis en cours d'exécution à partir de l'intérieur d'un node.js script à l'aide de process.spawn(). Depuis CasperJS ne prend pas en charge require()ing modules, je suis en train d'imprimer les commandes de CasperJS à stdout puis de les lire à partir de mon node.js script à l'aide de spawn.stdout.on('data', function(data) {});, pour faire des choses comme ajouter des objets à redis/mangouste (alambiquée, oui, mais semble plus simple que d'installer un service web pour cela...) Le CasperJS script exécute une série de commandes et crée de, disons, 20 captures d'écran qui doivent être ajoutés à ma base de données.

Cependant, je ne peux pas comprendre comment briser le data variable (un Buffer?) dans les lignes... j'ai essayé de le convertir à une chaîne et puis en faisant un remplacement, j'ai essayé de faire spawn.stdout.setEncoding('utf8'); mais rien ne semble fonctionner...

Voici ce que j'ai droit maintenant

var spawn = require('child_process').spawn;

var bin = "casperjs"
//googlelinks.js is the example given at http://casperjs.org/#quickstart
var args = ['scripts/googlelinks.js'];
var cspr = spawn(bin, args);

//cspr.stdout.setEncoding('utf8');
cspr.stdout.on('data', function (data) {
    var buff = new Buffer(data);
    console.log("foo: " + buff.toString('utf8'));
});

cspr.stderr.on('data', function (data) {
    data += '';
    console.log(data.replace("\n", "\nstderr: "));
});

cspr.on('exit', function (code) {
    console.log('child process exited with code ' + code);
    process.exit(code);
});

https://gist.github.com/2131204

  • Est-ce la meilleure approche? Il semble que le stdout.on('data') événement se déclenche selon taille de la mémoire tampon, pas nécessairement de nouvelles lignes. Est-ce vrai?
InformationsquelleAutor Jesse Fulton | 2012-03-20
  1. 16

    Essayez ceci:

    cspr.stdout.setEncoding('utf8');
cspr.stdout.on('data', function(data) {
  var str = data.toString(), lines = str.split(/(\r?\n)/g);
  for (var i=0; i<lines.length; i++) {
    //Process the line, noting it might be incomplete.
  }
});

    Noter que les "données" de l'événement ne serait pas nécessairement briser uniformément entre les lignes de sortie, de sorte qu'une seule ligne peut s'étendre sur plusieurs événements de données.

    • Bizarre, je suis sur OSX - j'ai pensé "\r\n" était de Windows. Mais il semble que cela fonctionne! (après l'ajout d'une poignée de manquant entre parenthèses :p)
    • le \r est en option à partir de la regex caractère spécial ? donc ce code devrait fonctionner sur UNIX et Windows; c'est faire l'expression régulière global (.../g) qui a été probablement critiques ici. L'appel à "remplacer" dans votre exemple de code utilisé une simple chaîne de caractères qui est converti dans un non-global regex, donc, vous avez probablement juste deux lignes au lieu de tous.
    • Ah, oui, vous avez raison. Chaîne de caractères.replace(String, String) n'est pas globale, vous devez utiliser une regex comme le premier param et ajouter le 'g' de l'interrupteur.
    • quel commentaire?
    • Bien que cette solution fonctionne parfois, j'aimerais bien voir celui qui fonctionne toujours.
    InformationsquelleAutor maerics
  2. 12

    En fait, j'ai écrit un Nœud de la bibliothèque pour exactement cet effet, il est appelé flux de splitter et vous pouvez le trouver sur Github: samcday/stream-splitter.

    La bibliothèque offre un Stream vous pouvez diriger votre casper stdout dans, avec un séparateur (dans votre cas, \n), et il émet soigné token événements, un pour chaque ligne, il est divisé à partir de l'entrée Stream. La mise en œuvre interne pour cela est très simple, et la plupart des délégués de la magie à substack/node-tampons qui signifie qu'il n'est pas inutile Buffer allocations/copies.

    • Cette bibliothèque est un gain de temps considérable dans ce cas particulier. Merci!
    • +1 ce juste travaillé pour moi. les tracas de tous les partis. Merci!
    • Fonctionne avec child_process: var splitter = proc.la sortie standard stdout.pipe(StreamSplitter('\n')); splitter.sur('token', (token) => { console.journal(le jeton) }; // Merci!
    InformationsquelleAutor Sam Day
  3. 2

    Ajoutant à maerics de réponse, ce qui ne permet pas de traiter correctement les cas où seule une partie de la ligne est alimentée en données de vidage (eux vous donnera la première partie et la deuxième partie de la ligne individuellement, comme deux lignes distinctes.)

    var _breakOffFirstLine = /\r?\n/
function filterStdoutDataDumpsToTextLines(callback){ //returns a function that takes chunks of stdin data, aggregates it, and passes lines one by one through to callback, all as soon as it gets them.
    var acc = ''
    return function(data){
        var splitted = data.toString().split(_breakOffFirstLine)
        var inTactLines = splitted.slice(0, splitted.length-1)
        var inTactLines[0] = acc+inTactLines[0] //if there was a partial, unended line in the previous dump, it is completed by the first section.
        acc = splitted[splitted.length-1] //if there is a partial, unended line in this dump, store it to be completed by the next (we assume there will be a terminating newline at some point. This is, generally, a safe assumption.)
        for(var i=0; i<inTactLines.length; ++i){
            callback(inTactLines[i])
        }
    }
}

    utilisation:

    process.stdout.on('data', filterStdoutDataDumpsToTextLines(function(line){
    //each time this inner function is called, you will be getting a single, complete line of the stdout ^^
}) )
    InformationsquelleAutor mako
  4. 2

    J'ai trouvé une jolie manière de le faire avec de la pure nœud, ce qui semble bien fonctionner:

    const childProcess = require('child_process');
const readline = require('readline');

const cspr = childProcess.spawn(bin, args);

const rl = readline.createInterface({ input: cspr.stdout });
rl.on('line', line => /* handle line here */)
    InformationsquelleAutor nyctef
  5. 0

    Vous pouvez donner à ceci un essai. Il ignore toutes les lignes vides ou vides de nouveaux sauts de ligne.

    cspr.stdout.on('data', (data) => {
    data = data.toString().split(/(\r?\n)/g);
    data.forEach((item, index) => {
        if (data[index] !== '\n' && data[index] !== '') {
            console.log(data[index]);
        }
    });
});
    InformationsquelleAutor Rick
  6. 0

    Vieux trucs, mais toujours utile...

    J'ai fait un flux de Transformer la sous-classe à cette fin.

    Voir https://stackoverflow.com/a/59400367/4861714

    InformationsquelleAutor Julio