Vérification de proxy en python

J'ai écrit un script en python qui utilise des cookies et des POST/GET. J'ai aussi inclus support de proxy dans mon script. Cependant, lorsque l'on entre dans un mort proxy proxy, le script plante. Est-il possible de vérifier si un proxy est mort/vivant avant d'exécuter le reste de mon script?

En outre, j'ai remarqué que certains proxys ne gère pas les cookies/POST-têtes correctement. Est-il possible de résoudre ce problème?

source d'informationauteur MarcoW

  1. 13

    Le plus simple est de simplement attraper l'exception IOError de urllib:

    try:
    urllib.urlopen(
        "http://example.com",
        proxies={'http':'http://example.com:8080'}
    )
except IOError:
    print "Connection error! (Check proxy)"
else:
    print "All was fine"

    Aussi, à partir de ce blog - "vérifier l'état de l'adresse proxy" (avec quelques légères améliorations):

    import urllib2
import socket

def is_bad_proxy(pip):    
    try:
        proxy_handler = urllib2.ProxyHandler({'http': pip})
        opener = urllib2.build_opener(proxy_handler)
        opener.addheaders = [('User-agent', 'Mozilla/5.0')]
        urllib2.install_opener(opener)
        req=urllib2.Request('http://www.example.com')  # change the URL to test here
        sock=urllib2.urlopen(req)
    except urllib2.HTTPError, e:
        print 'Error code: ', e.code
        return e.code
    except Exception, detail:
        print "ERROR:", detail
        return True
    return False

def main():
    socket.setdefaulttimeout(120)

    # two sample proxy IPs
    proxyList = ['125.76.226.9:80', '213.55.87.162:6588']

    for currentProxy in proxyList:
        if is_bad_proxy(currentProxy):
            print "Bad Proxy %s" % (currentProxy)
        else:
            print "%s is working" % (currentProxy)

if __name__ == '__main__':
    main()

    Rappelez-vous ce qui pourrait doubler le temps que le script prend, si le proxy est en bas (comme vous aurez à attendre pour les deux à la connexion délais d'attente).. Sauf si vous avez à savoir le proxy est en faute, la manipulation de la IOError est beaucoup plus propre, plus simple et plus rapide..

  2. 1

    Je pense que la meilleure approche est comme dbr dit, la manipulation de l'exception.

    Une autre solution qui pourrait être mieux, dans certains cas, est d'utiliser un externe en ligne de proxy checker outil pour vérifier si un serveur proxy est vivant et puis continuer à utiliser votre script sans aucune modification.

  3. 0

    Il y a un joli paquet Saisir
    Donc, si c'est ok pour vous, vous pouvez écrire quelque chose comme ceci(simple proxy valide checker-générateur):

    from grab import Grab, GrabError

def get_valid_proxy(proxy_list): #format of items e.g. '128.2.198.188:3124'
    g = Grab()
    for proxy in proxy_list:
        g.setup(proxy=proxy, proxy_type='http', connect_timeout=5, timeout=5)
        try:
            g.go('google.com')
        except GrabError:
            #logging.info("Test error")
            pass
        else:
            yield proxy