Ce que PHP web crawler bibliothèques sont disponibles?

Juste donner Snoopy un essai.

Extrait: "Snoopy est une classe PHP qui permet de simuler un navigateur web. Il automatise les tâches de récupération de contenu de page web et l'affichage des formulaires, par exemple."

OriginalL'auteur Mimikry

Vous pouvez utiliser PHP Simple HTML DOM Parser . C'est vraiment simple et utile.

OriginalL'auteur Eray

Il y a un grand tutoriel ici qui combine guzzlehttp et symfony/dom-robot

Dans le cas où le lien est perdu ici, c'est le code que vous pouvez utiliser.

use Guzzle\Http\Client;
use Symfony\Component\DomCrawler\Crawler;
use RuntimeException;

//create http client instance
$client = new GuzzleHttp\ClientClient('http://download.cloud.com/releases');

//create a request
$response = $client->request('/3.0.6/api_3.0.6/TOC_Domain_Admin.html');

//get status code
$status = $response->getStatusCode();

//this is the response body from the requested page (usually html)
//$result = $response->getBody();

//crate crawler instance from body HTML code
$crawler = new Crawler($response->getBody(true));

//apply css selector filter
$filter = $crawler->filter('div.apismallbullet_box');
$result = array();

if (iterator_count($filter) > 1) {

    //iterate over filter results
    foreach ($filter as $i => $content) {

        //create crawler instance for result
        $cralwer = new Crawler($content);
        //extract the values needed
        $result[$i] = array(
            'topic' => $crawler->filter('h5')->text();
            'className' => trim(str_replace(' ', '', $result[$i]['topic'])) . 'Client'
        );
    }
} else {
    throw new RuntimeException('Got empty result processing the dataset!');
}

OriginalL'auteur Harish NInge Gowda

Je sais que c'est un peu vieille question. Beaucoup de bibliothèques utiles est sorti depuis.

Donner un coup de feu à Crawlzone. Il est rapide, bien documenté, asynchrone internet ramper cadre avec beaucoup de fonctionnalités intéressantes:

• Asynchrone ramper avec personnalisable simultanéité.
• Automatiquement la limitation de ramper vitesse en fonction de la charge du site web que vous analysez.
• Si configuré, filtre automatiquement les demandes interdit par la robots.txt l'exclusion standard.
• Simple système middleware permet d'ajouter des en-têtes, d'extraire des données, de filtre ou de brancher n'importe quelle des fonctionnalités personnalisées à la demande et la réponse.
• Riches fonctionnalités de filtrage.
• Capacité à mettre en rampant profondeur
• Facile à étendre le noyau en accrochant dans le processus d'exploration à l'aide d'événements.
• Arrêter robot tout temps et de recommencer sans perdre le progrès.

Également consulter l'article que j'ai écrit à ce sujet:

https://www.codementor.io/zstate/this-is-how-i-crawl-n98s6myxm

OriginalL'auteur zstate