Comment puis-je écran gratter avec Perl?

J'ai besoin d'afficher certaines valeurs qui sont stockées dans un site web, pour cela j'ai besoin de gratter le site et aller chercher le contenu de la table. Des idées?

OriginalL'auteur | 

  1. 6

    Si vous êtes familier avec jQuery, vous pourriez vouloir vérifier pQuery, ce qui le rend très facile:

    ## print every <h2> tag in page
use pQuery;

pQuery("http://google.com/search?q=pquery")
    ->find("h2")
    ->each(sub {
        my $i = shift;
        print $i + 1, ") ", pQuery($_)->text, "\n";
    });

    Il y a aussi HTML::DOM.

    Ce que vous faites, cependant, ne pas utiliser des expressions régulières pour cela.

    OriginalL'auteur Paolo Bergantino

  2. 4

    J'ai utilisé Tableau HTML Extrait dans le passé.
    Personnellement, je la trouve un peu lourde à utiliser, mais peut-être que je n'ai pas compris le modèle d'objet.
    J'ai l'habitude d'utiliser cette partie du manuel d'examiner les données:

     use HTML::TableExtract;
 $te = HTML::TableExtract->new();
 $te->parse($html_string);

     # Examine all matching tables
     foreach $ts ($te->tables) {
       print "Table (", join(',', $ts->coords), "):\n";
       foreach $row ($ts->rows) {
          print join(',', @$row), "\n";
       }
     }`
    HTML::TableExtract est assez magique. Une grande caractéristique est d'être capable de sélectionner les tables en spécifiant le contenu des cellules d'en-tête et d'être en mesure de garder uniquement les colonnes qui vous intéressent.

    OriginalL'auteur

  3. 3

    Bien que j'ai généralement fait avec LWP/LWP::Simple, le courant 'préféré' module pour n'importe quelle sorte de page web de grattage en Perl est WWW::Mechanize.

    David: Pouvez-vous développer sur ce point. J'ai toujours pensé WWW::Mechanize était plus pour des tests automatisés. Ce qui le place un cran au-dessus?
    WWW::Mechanize est pour toute sorte d'interaction avec un site web. Il n'a jamais été visée uniquement à des tests automatisés.
    Cependant, le Test::WWW::Mechanize est visée uniquement à des tests automatisés. C'est un wrapper autour de WWW::Mechanize.

    OriginalL'auteur

  4. 2

    Si vous êtes familier avec XPath, vous pouvez également utiliser HTML:: "TreeBuilder":: XPath. Et si vous n'êtes pas... eh bien, vous devriez être ;--)

    OriginalL'auteur

  5. 2

    Vous pouvez également utiliser ce simple module perl WEB::Grattoir, c'est simple à comprendre et à rendre la vie facile pour moi. suivre cet exemple pour plus d'informations.

    http://teusje.wordpress.com/2010/05/02/web-scraping-with-perl/

    La vie peut être si facile 🙂

    OriginalL'auteur

  6. 2

    Similaires Stackoverflow questions ont un oeil à....

    Je fais comme à l'aide de pQuery pour des choses comme cela, cependant Web::Grattoir a l'air intéressant.

    OriginalL'auteur

  7. 1

    Je ne veux pas le glisser jusqu'à une mort fil, mais quelqu'un googler à travers ce fil devrait aussi checkout WWW::Scripter - 'Pour les scripts des sites web qui ont des scripts

    heureux de données à distance de l'agrégation 😉

    OriginalL'auteur

  8. 1

    Prendre un coup d'oeil à la magie Web::Grattoir, c'est LA outil pour le web scraping.

    OriginalL'auteur

  9. 0

    - Je utiliser LWP::UserAgent pour la plupart de ma capture d'écran besoins. Vous pouvez également coupler cela avec HTTP::Cookies si vous avez besoin de Cookies soutien.

    Voici un exemple simple sur la façon d'obtenir la source.

    use LWP;
use HTTP::Cookies;
my $cookie_jar = HTTP::Cookies->new;
my $browser = LWP::UserAgent->new;
$browser->cookie_jar($cookie_jar);

$resp = $browser->get("https://www.stackoverflow.com");
if($resp->is_success) {
   # Play with your source here
   $source = $resp->content;
   $source =~ s/^.*<table>/<table>/i; # this is just an example 
   print $source;                     # not a solution to your problem.
}

    OriginalL'auteur

  10. 0

    Découvrez ce petit exemple de web scraping avec perl:
    texte du lien

    OriginalL'auteur