Comment utiliser Goutte

Question:
Ne peut pas comprendre pleinement la Goutte web grattoir.

Demande:
Quelqu'un peut-il m'aider à comprendre ou fournir le code pour m'aider à mieux comprendre comment utiliser Goutte sur le web grattoir? J'ai lu le fichier README.md. Je suis à la recherche de plus d'informations que ce que fournit comme quelles options sont disponibles dans la Goutte et la façon d'écrire ces options ou lorsque vous êtes à la recherche des formes pensez-vous de la recherche pour le nom=) ou l'id= de la forme?

Page web d'essayer d'être gratté:
Étape 1:
La page web a un formulaire a un bouton radio pour choisir le type de formulaire à remplir (ie. Nom du ou de la Licence). Par défaut, c'est le Nom avec Nom et prénom des zones de texte avec un État menu déroulant, sélectionnez liste. Si vous choisissez la Radio il y a jQuery ou JavaScript qui fait le Premier et le Dernier Nom de zones de texte à l'aller et une Licence de zone de texte s'affiche.

Étape 2:
Une fois que vous avez soumis le formulaire, il vous amène à une page a plusieurs liens. On peut aller à l'un des deux d'entre eux pour obtenir nos informations dont nous avons besoin.

Étape 3:
Une fois que nous avons réussi à cliqué sur le lien que nous voulons la troisième page, les données que nous recherchons et que nous voulons pour stocker ces données dans une variable php.

De soumettre des informations Incorrectes:
Si de fausses informations est soumise alors un jQuery/Javascript renvoie un message d'
"Aucun document n'a été trouvé." sur la même page que la soumission.

Note:
La méthode préférée serait de sélectionner la licence d'un bouton radio, remplissez le numéro de licence, sélectionnez l'état et puis soumettez le formulaire. J'ai lu des tonnes de posts et blogs et d'autres articles au sujet de la Goutte et nulle part je ne trouve quelles sont les options disponibles pour la Goutte, comment vous trouver cette information ou comment utiliser cette information si elle n'existe pas.

Peut-être que cette question doit être plus spécifique? Pour le moment c'est très général, et c'est difficile de répondre. Si le problème est que le JavaScript ne s'exécute pas en Goutte, alors que serait - il correct, vous devez exécuter un bon navigateur. Headless webkit serait de le faire pour vous.

OriginalL'auteur scrfix | 2013-03-26

  1. 14

    La documentation que vous souhaitez regarder, c'est la Symfony2 DomCrawler.

    Goutte est un client de construire au-dessus de Bouffer qui renvoie les Robots à chaque fois que vous demander/proposer quelque chose:

    use Goutte\Client;
$client = new Client();
$crawler = $client->request('GET', 'http://www.symfony-project.org/');

    Avec ce robot, vous pouvez faire des trucs comme obtenir toutes les balises P à l'intérieur du corps:

    $nodeValues = $crawler->filter('body > p')->each(function (Crawler $node, $i) {
    return $node->text();
});
print_r($nodeValues);

    De le remplir et de soumettre des formulaires:

    $form = $crawler->selectButton('sign in')->form(); 
$crawler = $client->submit($form, array(
        'username' => 'username', 
        'password' => 'xxxxxx'
));

    Un selectButton() la méthode est disponible sur le Robot qui renvoie
    un autre Robot qui correspond à un bouton (input[type=submit],
    input[type=image], ou un bouton) avec le texte donné. [Un]

    Vous cliquez sur des liens ou définir des options, sélectionnez les cases et plus, voir Forme et le support des liens.

    Pour obtenir des données de la chenille à l'utilisation de la html ou text méthodes

    echo $crawler->html();
echo $crawler->text();

    OriginalL'auteur Onema

  2. 0

    Après beaucoup d'essais et d'erreurs, j'ai découvert qu'il est beaucoup plus facile, bien documenté, une meilleure assistance (si nécessaire) et beaucoup plus efficace pour grattoir de goutte. Si vous rencontrez des problèmes avec la goutte, essayez les opérations suivantes:

    1. Simple HTML Dom: http://simplehtmldom.sourceforge.net/

    Si vous êtes dans la même situation que j'étais là où la page que vous essayez de gratter nécessite un référent à partir de leur propre site web, alors vous pouvez utiliser une combinaison de ROULAGE et Simple HTML DOM, car il ne semble pas que du Simple HTML DOM a la capacité d'envoyer un référent. Si vous n'avez pas besoin d'un référent, alors vous pouvez utiliser du Simple HTML DOM à gratter de la page.

    $url="http://www.example.com/sub-page-needs-referer/";
$referer="http://www.example.com/";
$html=new simple_html_dom(); //Create a new object for SIMPLE HTML DOM
/** cURL Initialization  **/
$ch = curl_init($url);

/** Set the cURL options **/
curl_setopt($ch, CURLOPT_URL, $url);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, true);
curl_setopt($ch, CURLOPT_REFERER,$referer);
$output = curl_exec($ch);

if($output === FALSE) {
  echo "cURL Error: ".curl_error($ch); //do something here if we couldn't scrape the page
}
else {
  $info = curl_getinfo($ch);
  echo "Took ".$info['total_time']." seconds for url: ".$info['url'];
  $html->load($output); //Transfer CURL to SIMPLE HTML DOM
}

/** Free up cURL **/
curl_close($ch);

//Do something with SIMPLE HTML DOM.  It is well documented and very easy to use.  They have a lot of examples.
    La Goutte est d'essayer de faire un peu juste plus de cela, de ce que je peux dire: en cliquant sur des liens, à la suite de redirections, envoi de formulaires, etc - essentiellement l'émulation d'un navigateur.
    Merci. Ce n'est pas la capacité de Goutte qui a été remis en question. C'est le manque de documentation pour savoir comment l'utiliser correctement. J'ai essayé et essayé et essayé de l'utiliser et ne pouvaient tout simplement pas le comprendre. Simple HTML DOM était un clin d'oeil. Après l'échec après échec et la recherche de l'aide qui n'est jamais venu à Goutte je n'ai même pas besoin de demander de l'aide sur Simple HTML DOM et seulement besoin de lire une petite partie de la documentation pour le comprendre.
    Je ne l'ai fait un peu de Goette, donc difficile pour moi de dire si les docs sont bon à ce point. Êtes-vous à l'aide d'un autocompleting IDE, par intérêt? Si non, il va faire de votre vie beaucoup plus facile - j'attends qu'il aurait été beaucoup plus difficile si ce n'était pas pour Netbeans.
    La Goutte est juste un wrapper mince au-dessus des autres outils. Si vous voulez gratter regarder Symfony Grattoir de la documentation, il est vaste et il y a beaucoup d'exemples.
    En effet Goutte est juste un wrapper pour DomCrawler composant par Symphony'. Et la CssSelector composant. Peut-être à la recherche de la documentation va vous aider à comprendre. Je trouve qu'il est très utile que vous pouvez également exécuter des requêtes Xpath sur le DOM. C'est tellement simple de récupérer le texte brut ou html. Cela me permet de combiner Xpath et CSS sélections très précises analyses.

    OriginalL'auteur scrfix