Comment faire un bot pour naviguer sur un site?
Donné un id de produit, les associés ont pour naviguer dans un des vendeurs de site web, vous connecter, effectuer une recherche, afin d'obtenir des détails sur un produit pour un client.
Mes employeurs voulez un programme qui peut utiliser l'id de produit, et de naviguer dans les fournisseurs de site web, et d'effectuer la recherche et le tout pour obtenir l'information ainsi l'économie de l'associé d'avoir à manuellement répéter cette tâche chaque fois qu'un client veut plus d'informations sur un produit.
Je sais que beaucoup de sites utilisent des méthodes de prévention (CAPTCHA) exactement ce que je suis en train de faire. Donc je ne sais pas si qui la rend à mon projet donné un "mal" un. Mais je n'ai certainement pas de mauvaises intentions, mes employeurs veulent simplement enregistrer les associés de temps sur se de l'information qu'ils vont obtenir indépendamment. Toutefois, si ce qui est "mal", veuillez expliquer pourquoi, afin que je puisse expliquer à mes employeurs pourquoi nous ne devrions pas aller en bas de cette route. Cela étant dit...
Comment puis-je faire quelque chose comme cela en PHP?
So I do not know if that automatically makes my given project an "evil" one.- Je pense que cela dépend de la cible du site conditions d'utilisation. Si ils n'en avez pas, je suppose que sur le plan juridique, par défaut s'applique. Pour la plupart des administrations, c'est probablement "c'est bien" ou une "zone grise" - mais seul un avocat peut répondre correctement. Mais pourquoi ne pas demander aux personnes qui dirigent le site pour l'autorisation? Si ils sont d'accord, ce serait la plus belle solution.- de très bons conseils merci.
- Je pense que j'ai entendu dire que Dark Vador était de travailler sur un projet similaire et, après tout, il est assez mal.
- Ce n'est pas forcément le mal. Toutefois, si elles ont un robots.txt dans leur site, l'honneur du mieux que vous pouvez. Et vous ne devriez pas peg le site et le souffle avec les demandes. C'est une bonne façon d'obtenir votre application bloqué à partir du site.
- C'est un mal pour vous. Essayez de vous inscrire pour certains services google et de considérer l'image du captcha, vous devez entrer. C'est la complicité est la conséquence directe de ces roboting. Un vendeur, qui est prêt à donner de l'information à l'écart, une API pour que pour vous. Bien qu'une telle grattage rend les gens se défendre contre qui, et cela rend la vie de l'homme plus fort. C'est mal à son meilleur: une gourmande robot-maker fait de troubles de milliers de personnes.
Vous devez vous connecter pour publier un commentaire.
Pour commencer je vous recommande la lecture sur le roulage et DOM
cURL: http://php.net/curl (pour l'extraction de pages, même en simulant formulaire de recherche)
DOM: http://www.php.net/manual/en/book.dom.php (pour analyser le récupérés pages)
Cela dépend de ce site que vous tentez d'accéder. De nombreux sites ont une API qui peut être utilisé pour accéder aux données. Si ce n'est pas le cas, vous pouvez avoir besoin d'écrire un programme qui charge le fichier html à l'aide d'une requête GET, analyse par le biais de la réponse, et récupère les informations que vous souhaitez. Sans plus de détails, c'est la meilleure réponse que je peux donner.