Comment gérer un "pool" de PhantomJS instances

J'ai installé une PhantomJs Service de Cloud computing, et il a à peu près fait ce que vous demandez. Il m'a fallu environ 5 semaines de travail à mettre en œuvre.

Le plus grand problème que vous rencontrerez dans l'est connu que le problème de les fuites de mémoire dans PhantomJs. La façon dont j'ai travaillé autour de ce est le cycle de mon cas tous les 50 appels.

Le deuxième plus grand problème que vous rencontrerez dans l'est par le traitement de la page est très cpu et de la mémoire intensive, donc vous aurez seulement être en mesure d'exécuter 4 cas par UC.

Le troisième plus grand problème que vous rencontrerez dans l'est que PhantomJs est assez loufoque avec page-finition des événements et des redirections. Vous serez informé que votre page est rendu terminé avant qu'il ne l'est réellement. Il y a un certain nombre de façons de traiter ce, mais rien de "standard" malheureusement.

Le quatrième plus grand problème que vous aurez à traiter est de l'interopérabilité entre nodejs et phantomjs heureusement, il y a beaucoup de packages npm qui traitent de cette question à choisir.

Donc je sais que je suis partial (comme je l'ai écrit la solution que je vais proposer), mais je vous suggère de vérifier PhantomJsCloud.com qui est gratuit pour une utilisation faible.

Jan 2015 mise à jour: un Autre (5ème?) gros problème que j'ai rencontré est de savoir comment envoyer la demande/réponse de la part du gestionnaire/load-balancer. À l'origine, j'ai été en utilisant PhantomJS est le serveur HTTP intégré, mais restent en cours d'exécution dans ses limites, en particulier au sujet de la réponse maximale de la taille. J'ai fini par écrire la requête/réponse pour le système de fichiers local, comme les lignes de communication. * Temps Total passé sur la mise en œuvre du service, constitue peut-être 20 semaines-homme questions est peut-être 1000 heures de travail. * et pour info je suis en train de faire une réécriture complète pour la prochaine version.... (en cours)

Pour mon maître de thèse, j'ai développé la bibliothèque phantomjs-piscine qui fait exactement cela. Il permet de fournir des emplois qui sont ensuite cartographiés à PhantomJS travailleurs. La bibliothèque gère la distribution des tâches, la communication, la gestion des erreurs, l'exploitation forestière, le redémarrage et quelques autres trucs. La bibliothèque a été utilisée avec succès pour analyser plus d'un million de pages.

Exemple:

Le code suivant exécute une recherche Google pour les nombres de 0 à 9 et enregistre une capture d'écran de la page comme googleX.png. Quatre sites sont analysées en parallèle (en raison de la création de quatre travailleurs). Le script est lancé via node master.js.

master.js (fonctionne dans le Node.js de l'environnement)

var Pool = require('phantomjs-pool').Pool;

var pool = new Pool({ //create a pool
    numWorkers : 4,   //with 4 workers
    jobCallback : jobCallback,
    workerFile : __dirname + '/worker.js', //location of the worker file
    phantomjsBinary : __dirname + '/path/to/phantomjs_binary' //either provide the location of the binary or install phantomjs or phantomjs2 (via npm)
});
pool.start();

function jobCallback(job, worker, index) { //called to create a single job
    if (index < 10) { //index is count up for each job automatically
        job(index, function(err) { //create the job with index as data
            console.log('DONE: ' + index); //log that the job was done
        });
    } else {
        job(null); //no more jobs
    }
}

worker.js (fonctionne dans le PhantomJS environnement)

var webpage = require('webpage');

module.exports = function(data, done, worker) { //data provided by the master
    var page = webpage.create();

    //search for the given data (which contains the index number) and save a screenshot
    page.open('https://www.google.com/search?q=' + data, function() {
        page.render('google' + data + '.png');
        done(); //signal that the job was executed
    });

};

si vous utilisez nodejs pourquoi ne pas utiliser le sélénium, le webdriver

1. exécuter certains phantomjs instance webdriver
   phantomjs --webdriver=port_number

2. pour chaque phantomjs exemple créer PhantomInstance

   function PhantomInstance(port) {
       this.port = port;
   }
   
   PhantomInstance.prototype.getDriver = function() {
       var self = this;
       var driver = new webdriver.Builder()
           .forBrowser('phantomjs')
           .usingServer('http://localhost:'+self.port)
           .build();
       return driver;
   }

   et mettez-les tous dans un tableau [phantomInstance1,phantomInstance2]

3. créer dispather.js que obtenez gratuitement phantomInstance de la matrice et

   var driver = phantomInstance.getDriver();