Comment coder un système automatisé de bot que de parcourir et de faire des opérations sur une page web

J'ai besoin de coder un bot qui doit effectuer les opérations suivantes:

Aller à une page jsp et
la recherche de quelque chose par:

  • 1: écrire quelque chose sur une zone de recherche
  • 2: en cliquant sur le bouton de recherche(bouton "soumettre")
  • 3: en cliquant sur l'une des résultantes boutons/liens(même page jsp avec sortie différents)
  • 4: l'intégralité du code html de la nouvelle page(même page jsp avec sortie différents)

La 4ème peut être fait avec capture d'écran et je ne pense pas que j'ai besoin d'aide avec elle. Mais j'ai besoin de quelques conseils pour les options de 1 à 3. Tous les liens ou simplement un mot-clé qui va m'aider à google pour en apprendre sur qu'il sera apprécié. J'ai l'intention de le faire avec java.

OriginalL'auteur Tunca Ersoy | 2011-03-16

  1. 6

    C'est peut-être pas ce que vous voulez, mais vous pouvez essayer de sélénium : http://seleniumhq.org/

    C'est une application web tests de système.

    OriginalL'auteur joel1di1

  2. 8

    Tous vous avez besoin est Interface htmlunit

    Ceci est un extrait de sa description

    HtmlUnit is a "GUI-Less browser for Java programs". It models HTML documents and provides an API that allows you to invoke pages, fill out forms, click links, etc... just like you do in your "normal" browser.

    P. S.: l'Avions utilisé pour construire un web grattage projet 😉

    Ouais, c'est bien aussi
    Oh oui, interface htmlunit est la outil de choix dans ce cas d'utilisation, je l'ai aussi utilisé (par Groovy) pour gratter le web.
    et il est intéressant de mentionner que c'est vraiment ennuyeux qu'il ne prend pas en charge les sélecteurs css, mais xPath.. -.-

    OriginalL'auteur Clyde Lobo

  3. 0

    Vous pouvez utiliser python-mechanize pour cela.

    OriginalL'auteur RATHI

  4. 0

    Prerequistes:

    1. Sélénium API.
    2. Mozilla Firefox avec l'extension firebug installé)

    Nous pouvons atteindre le lancement d'un navigateur,accédez à la page web en particulier ,la recherche d'un mot clé et d'analyser les résultats en suivant

    1. Lancez le navigateur web(pilote.lancer()(sélénium)
    2. Aller à la page web spécifique(pilote.get("votre web pager"))(sélénium)
    3. Identifier la zone de recherche(obtenir identifiant en utilisant fire bug(id,xml path.. etc)
    4. Aller vers cette zone et d'écrire votre mot clé de recherche (webelement.sendkeys("mot clé") et cliquez sur le bouton rechercher (webelement.cliquez sur())(sélénium)
    5. Cliquez sur résultat souhaité en utilisant les identifiants et pour la prochaine page web à charger (sélénium)
    la réponse n'est pas exhaustive. Veuillez fournir un exemple de code qui a fonctionné pour vous

    OriginalL'auteur user3736869

  5. 0

    J'ai utilisé le sélénium dans google chrome. Si vous souhaitez utiliser le sélénium, vous devez télécharger à partir de http://www.seleniumhq.org/download/ --- la dernière version et de mettre en œuvre dans neatbeans ou eclipse les fichiers jar. (Sélénium Client & WebDriver Liaisons de Langage, le Sélénium Serveur Autonome) Après cela, vous devez télécharger à partir de google https://sites.google.com/a/chromium.org/chromedriver/ -- chrome pilote également la dernière version d'extraire le fichier et l'enregistrer sur votre pc.

    OriginalL'auteur Magor_k