Raclage de site Web en utilisant jquery et ajax

Je veux être en mesure de manipuler le code html d'une url donnée. Quelque chose comme le html le grattage. Je sais que cela peut être fait à l'aide de curl ou certains de grattage de la bibliothèque.Mais je voudrais savoir si il est possible d'utiliser jquery pour faire une requête get à l'url à l'aide d'ajax et de récupérer le code html de l'url, et exécuter jquery code sur le code html retourné ?

Merci

source d'informationauteur Joe

  1. 8

    Je tiens à souligner qu'il existe des situations où il est parfaitement acceptable d'utiliser jQuery pour gratter des écrans dans tous les domaines. Windows Sidebar gadgets exécuter dans une "Zone ordinateur Local" qui permet de cross domain scripting.

    Et jQuery n'ont la capacité d'appliquer les sélecteurs pour récupéré un contenu html. Vous avez juste besoin d'ajouter le sélecteur pour une méthode load() de paramètre de l'url après un espace.

    L'exemple gadget code ci-dessous vérifie cette page toutes les heures et indique le nombre total de pages vues.

    <html>
<head>
    <script type="text/javascript" src="jquery.min.js"></script>
    <style>
        body { 
            height: 120px;
            width: 130px;
            background-color: white;
        };
    </style>
</head>

<body>
Question Viewed:
<div id="data"></div>

<script type="text/javascript">

    var url = "http://stackoverflow.com/questions/1936495/website-scraping-using-jquery-and-ajax"

    updateGadget();

    inervalID = setInterval("updateGadget();", 60 * 1000);

    function updateGadget(){

        $(document).ready(function(){
            $("#data").load(url + " .label-value:contains('times')");
        });

    }

</script>

</body>
</html>
  2. 4

    Vous ne pouvez pas faire une requête Ajax vers un autre nom de domaine que celui que votre site est sur, en raison de la Même La Politique De L'Origine ; ce qui signifie que vous ne sera pas tout à fait capable de faire ce que vous voulez... Au moins directement.

    Une solution serait de :

    • avoir une sorte de "proxy" sur votre propre serveur,
    • envoyer votre requête Ajax qui proxy,
    • qui, à son tour, va chercher la page sur l'autre nom de domaine ; et le retourner à votre code JS en tant que réponse à la requête Ajax.

    Cela peut être fait en quelques lignes avec presque n'importe quelle langue (comme PHP, à l'aide de curl, par exemple)... Ou vous pourriez être en mesure d'utiliser certaines fonctionnalités de votre serveur (voir mod_proxy et mod_proxy_httppar exemple, pour Apache)

  3. 3

    Ce n'est pas que difficile.

    $(document).ready(function() {
  baseUrl = "http://www.somedomain.com/";
  $.ajax({
    url: baseUrl,
    type: "get",
    dataType: "",
    success: function(data) {
      //do something with data
    }
  });
});

    Je pense que cela peut vous donner une bonne idée - http://jsfiddle.net/skelly/m4QCt/

  4. 1

    http://www.nathanm.com/ajax-bypassing-xmlhttprequest-cross-domain-restriction/

    Le seul problème est que pour des raisons de sécurité dans Internet Explorer et de FireFox, l'objet XMLHTTPRequest n'est pas autorisé à faire de la croix-domaine de la croix-protocole, ou de la croix-port demandes.

  5. 0

    Au lieu de curl, vous pouvez utiliser un outil comme Selenium qui permettra d'automatiser le chargement de la page dans le navigateur. Vous pouvez exécuter JavaScript.

  6. 0

    Je le fais avec un petit PHP proxy, temporairement décapage des balises IMG pour accélérer les temps de chargement. Je l'ai enveloppé dans un plugin jQuery qui le rend relativement facile à utiliser, voir ici pour la démo/github lien