Comment mettre en place une web grattoir en PHP?

De grattage en général comprend 3 étapes:

• d'abord vous GET ou POST votre demande
  à une URL spécifiée
• à côté de vous recevoir
  le html qui est retourné en tant que
  réponse
• enfin, vous analysez sortir de
  que html, le texte que vous souhaitez
  gratter.

Pour accomplir les étapes 1 et 2 ci-dessous est une simple classe php qui utilise Curl pour récupérer des pages web en utilisant soit GET ou POST. Après que vous obteniez le HTML, il suffit d'utiliser des Expressions Régulières pour accomplir l'étape 3 de l'analyse du texte que vous souhaitez gratter.

Pour les expressions régulières, mon préféré tutoriel du site est la suivante:
Les Expressions Régulières Tutoriel

Mon programme Préféré pour travailler avec les RegExs est Regex Copain. Je vous conseille d'essayer la démo de ce produit même si vous n'avez pas l'intention de l'acheter. C'est un outil précieux et même de générer du code pour votre regexs que vous faites dans la langue de votre choix (y compris php).

Utilisation:

$curl = new Curl();
$html = $curl->get("http://www.google.com");


//now, do your regex work against $html

Classe PHP:

<?php
class Curl
{       
public $cookieJar = "";
public function __construct($cookieJarFile = 'cookies.txt') {
$this->cookieJar = $cookieJarFile;
}
function setup()
{
$header = array();
$header[0] = "Accept: text/xml,application/xml,application/xhtml+xml,";
$header[0] .= "text/html;q=0.9,text/plain;q=0.8,image/png,*/*;q=0.5";
$header[] =  "Cache-Control: max-age=0";
$header[] =  "Connection: keep-alive";
$header[] = "Keep-Alive: 300";
$header[] = "Accept-Charset: ISO-8859-1,utf-8;q=0.7,*;q=0.7";
$header[] = "Accept-Language: en-us,en;q=0.5";
$header[] = "Pragma: "; //browsers keep this blank.
curl_setopt($this->curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows; U; Windows NT 5.2; en-US; rv:1.8.1.7) Gecko/20070914 Firefox/2.0.0.7');
curl_setopt($this->curl, CURLOPT_HTTPHEADER, $header);
curl_setopt($this->curl,CURLOPT_COOKIEJAR, $this->cookieJar); 
curl_setopt($this->curl,CURLOPT_COOKIEFILE, $this->cookieJar);
curl_setopt($this->curl,CURLOPT_AUTOREFERER, true);
curl_setopt($this->curl,CURLOPT_FOLLOWLOCATION, true);
curl_setopt($this->curl,CURLOPT_RETURNTRANSFER, true);  
}
function get($url)
{ 
$this->curl = curl_init($url);
$this->setup();
return $this->request();
}
function getAll($reg,$str)
{
preg_match_all($reg,$str,$matches);
return $matches[1];
}
function postForm($url, $fields, $referer='')
{
$this->curl = curl_init($url);
$this->setup();
curl_setopt($this->curl, CURLOPT_URL, $url);
curl_setopt($this->curl, CURLOPT_POST, 1);
curl_setopt($this->curl, CURLOPT_REFERER, $referer);
curl_setopt($this->curl, CURLOPT_POSTFIELDS, $fields);
return $this->request();
}
function getInfo($info)
{
$info = ($info == 'lasturl') ? curl_getinfo($this->curl, CURLINFO_EFFECTIVE_URL) : curl_getinfo($this->curl, $info);
return $info;
}
function request()
{
return curl_exec($this->curl);
}
}
?>
 

ScraperWiki est un projet plutôt intéressant.
Permet de construire des grattoirs en ligne en Python, Ruby ou PHP - j'ai été en mesure d'obtenir une simple tentative, en quelques minutes.

voici une autre: un simple PHP Racleur sans Regex.

file_get_contents() pouvez prendre une URL distante et vous donnent la source. Vous pouvez ensuite utiliser les expressions régulières (avec le Perl-compatible fonctions) pour saisir ce que vous avez besoin.

Par curiosité, ce que vous essayez de gratter?

Grattoir classe de mon cadre:

<?php
/*
Example:
$site = $this->load->cls('scraper', 'http://www.anysite.com');
$excss = $site->getExternalCSS();
$incss = $site->getInternalCSS();
$ids = $site->getIds();
$classes = $site->getClasses();
$spans = $site->getSpans(); 
print '<pre>';
print_r($excss);
print_r($incss);
print_r($ids);
print_r($classes);
print_r($spans);        
*/
class scraper
{
private $url = '';
public function __construct($url)
{
$this->url = file_get_contents("$url");
}
public function getInternalCSS()
{
$tmp = preg_match_all('/(style=")(.*?)(")/is', $this->url, $patterns);
$result = array();
array_push($result, $patterns[2]);
array_push($result, count($patterns[2]));
return $result;
}
public function getExternalCSS()
{
$tmp = preg_match_all('/(href=")(\w.*\.css)"/i', $this->url, $patterns);
$result = array();
array_push($result, $patterns[2]);
array_push($result, count($patterns[2]));
return $result;
}
public function getIds()
{
$tmp = preg_match_all('/(id="(\w*)")/is', $this->url, $patterns);
$result = array();
array_push($result, $patterns[2]);
array_push($result, count($patterns[2]));
return $result;
}
public function getClasses()
{
$tmp = preg_match_all('/(class="(\w*)")/is', $this->url, $patterns);
$result = array();
array_push($result, $patterns[2]);
array_push($result, count($patterns[2]));
return $result;
}
public function getSpans(){
$tmp = preg_match_all('/(<span>)(.*)(<\/span>)/', $this->url, $patterns);
$result = array();
array_push($result, $patterns[2]);
array_push($result, count($patterns[2]));
return $result;
}
}
?>