Comment faire pour télécharger un fichier csv à l'aide de PhantomJS

J'ai trouvé une solution pour PhantomJS. La lecture par le biais de ce discussion j'ai trouvé un jsfiddle qui télécharge une url à l'aide de jQuery ajax méthode et encode le fichier en base64.

Le fichier que je voulais à télécharger est au format texte brut (CSV) et j'ai donc supprimé le codage des fonctions. Ma page cible également déjà eu jQuery inclus donc je n'ai pas besoin de injecter jQuery dans la page cible.

Mon code suppose que vous avez déjà ouvert la page que vous souhaitez télécharger le fichier d'aide de PhantomJS, et que la page a jQuery. Dans mon cas, j'ai eu à la première connexion au site afin d'obtenir le lien de téléchargement.

var fs = require('fs');

var page=this;

var result = page.evaluate(function() {

    var out;
    $.ajax({
        'async' : false,
        'url' : 'fullurltodownload.csv',
        'success' : function(data, status, xhr) {
            out = data;
        }
    });
    return out;

});

fs.write('mydownloadedfile.csv', result);

OriginalL'auteur Matthew Lock

Au cours des 2 dernières réponses supposent que vous pouvez connaître à l'avance l'URL de la finale de fichier CSV. Qui ne sera pas le cas si le lien mène à une page HTML qui n'Javascript est calculée rediriger vers le fichier et que vous ne voulez pas pour évaluer le Javascript en dehors de PhantomJS. Vos options sont les suivantes:

1. mettre PhantomJS derrière un proxy en amont, et utiliser le proxy en amont afin d'intercepter l'URL de téléchargement (et sa durée de Cookie et Referer en-têtes)—mais vous devez être prudent afin d'identifier avec certitude la véritable URL de téléchargement et non pas des données aléatoires 'blob' si la page fait binaires XMLHttpRequests;
2. au lieu de PhantomJS utiliser sans Tête de Chrome, qui peut enregistrer automatiquement les fichiers téléchargés (ou Firefox avec PyVirtualDisplay, qui peut également être configuré pour ce faire, ou attendre sans Tête Firefox) et de contrôler le répertoire des téléchargements—mais vous devez être en mesure de comprendre par vous-même lorsque le téléchargement est terminé (ou utiliser un proxy en amont de la suivre pour la réalisation, mais sans Tête, Chrome/Firefox ne peut actuellement pas être configuré pour ignorer les certificats SSL, ce qui signifie que si le site est "sécurisé", c'est beaucoup plus difficile de contrôler les demandes de Tête de Chrome/Firefox qu'il est de surveiller les demandes de PhantomJS, au moins jusqu'à ce que Chrome question 721739 est fixe; vous pouvez regarder une requête de connexion, mais si elle est entretenue, vous n'aurez aucun moyen de savoir pour sûr qu'un transfert est terminé);
3. mettre PhantomJS derrière un proxy en amont qui change tous les inconnus types de contenu à text/plain et supprime Content-Disposition en-têtes, de sorte que vous pouvez lire le fichier à partir de PhantomJS de façon normale—qui doivent travailler pour un fichier CSV mais ne fonctionne pas pour les fichiers binaires avec 0 octets.

La première de ces options (PhantomJS + proxy en amont) est plus facile si le proxy en amont possible de surveiller le Accept - tête de PhantomJS envoie vers le site distant. Au moins dans PhantomJS version 2.1.1, les principales demandes qui ont Accept: text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8, de la feuille de style de demandes de Accept: text/css,*/*;q=0.1, et toutes les autres demandes (images, scripts, XMLHttpRequest) par défaut pour Accept: */* bien que cela peut être modifié par les sites qui utilisent XMLHttpRequest.setRequestHeader(). Par conséquent, si le proxy en amont voit une requête avec un Accept d'en-tête contenant text/html, et en passant sur ce demande au serveur de résultats dans un fichier CSV ou autres non-document HTML, puis il ya une bonne chance c'est le seul à enregistrer.

OriginalL'auteur Silas S. Brown