Modifier l'adresse IP de façon dynamique?
Considérer le cas,
Je veux d'analyse de sites web fréquemment, mais mon adresse IP a été bloqué après quelques jours/limite.
Alors, comment changer mon adresse IP dynamique, ou d'autres idées?
Vous devez vous connecter pour publier un commentaire.
Une approche à l'aide Scrapy utilisera deux composants,
RandomProxy
etRotateUserAgentMiddleware
.Modifier
DOWNLOADER_MIDDLEWARES
comme suit. Vous devrez insérer les nouveaux composants dans lesettings.py
:Aléatoire Proxy
Vous pouvez utiliser
scrapy-proxy
. Cette composante du processus de Scrapy demandes à l'aide d'un hasard de proxy à partir d'une liste pour éviter le ban IP et d'améliorer l'analyse de la vitesse.Vous pouvez construire votre liste de proxy à partir d'une recherche rapide sur internet. Copier les liens dans le
list.txt
fichier en fonction de l'url demandée format.De Rotation de l'agent utilisateur
Pour chaque scrapy demande un hasard de l'agent utilisateur sera utilisé à partir d'une liste que vous définissez à l'avance:
Plus de détails ici.
Vous pouvez essayer d'utiliser des serveurs proxy pour éviter d'être bloqué. Il y a des services de fourniture de travail des mandataires. Le meilleur que j'ai essayé est https://gimmeproxy.com - ils fréquemment vérifier les procurations pour les différents paramètres.
Afin d'obtenir de proxy à partir d'eux, vous avez juste besoin de faire la requête suivante:
Qu'ils fourniront la réponse JSON avec tous les proxy de données que vous pouvez utiliser plus tard comme nécessaire:
Vous pouvez l'utiliser comme ça avec Curl:
Si vous utilisez R, vous pourriez faire l'analyse web à travers TOR. Je pense que TOR réinitialise son adresse IP toutes les 10 minutes(?) automatiquement. Je pense qu'il y a un moyen de forcer TOR pour changer l'IP dans des intervalles plus courts, mais cela ne fonctionne pas pour moi. Au lieu de cela, vous pourriez mettre en place plusieurs instances de TOR et de passer des instances indépendantes (ici vous pouvez trouver une bonne explication de la façon de configurer plusieurs instances de TOR: https://tor.stackexchange.com/questions/2006/how-to-run-multiple-tor-browsers-with-different-ips)
Après que vous pourriez faire quelque chose comme ce qui suit dans R (utiliser les ports de votre indépendantes TOR navigateurs et une liste de useragents. Chaque fois que vous appelez " getURL fonction de cycle par le biais de votre liste de ports/useragents)
Certains VPN applications vous permettent de changer automatiquement votre adresse IP à une nouvelle adresse IP aléatoire à un intervalle défini comme: toutes les 2 minutes. Les deux HMA! Pro VPN et VPN4ALL logiciel prend en charge cette fonctionnalité.
Mot d'avertissement à propos de Vpn, de vérifier leurs Termes et Conditions attentivement, car grattage à l'aide d'eux va à l'encontre de leur politique de l'utilisateur ( Un exemple serait Astrill). J'ai essayé un racloir et j'ai obtenu mon compte verrouillé
Si vous avez des adresses ip publiques. Les ajouter sur votre interface et si vous utilisez Linux utiliser Iptables pour la commutation de ces adresses ip publiques.
Iptables des exemples de règles pour les deux IPs
Si vous avez 4 IPs alors probabilite deviendra 0.25.
Vous pouvez également créer votre propre proxy avec des étapes simples.
Ces règles permettront le serveur proxy pour passer son sortant de l'IPS.