Scrapy: connexion refusée

Je reçois une erreur lorsque vous tentez de test de scrapy installation:

$ scrapy shell http://www.google.es
j2011-02-16 10:54:46+0100 [scrapy] INFO: Scrapy 0.12.0.2536 started (bot: scrapybot)
2011-02-16 10:54:46+0100 [scrapy] DEBUG: Enabled extensions: TelnetConsole, SpiderContext, WebService, CoreStats, MemoryUsage, CloseSpider
2011-02-16 10:54:46+0100 [scrapy] DEBUG: Enabled scheduler middlewares: DuplicatesFilterMiddleware
2011-02-16 10:54:46+0100 [scrapy] DEBUG: Enabled downloader middlewares: HttpAuthMiddleware, DownloadTimeoutMiddleware, UserAgentMiddleware, RetryMiddleware, DefaultHeadersMiddleware, RedirectMiddleware, CookiesMiddleware, HttpProxyMiddleware, HttpCompressionMiddleware, DownloaderStats
2011-02-16 10:54:46+0100 [scrapy] DEBUG: Enabled spider middlewares: HttpErrorMiddleware, OffsiteMiddleware, RefererMiddleware, UrlLengthMiddleware, DepthMiddleware
2011-02-16 10:54:46+0100 [scrapy] DEBUG: Enabled item pipelines: 
2011-02-16 10:54:46+0100 [scrapy] DEBUG: Telnet console listening on 0.0.0.0:6023
2011-02-16 10:54:46+0100 [scrapy] DEBUG: Web service listening on 0.0.0.0:6080
2011-02-16 10:54:46+0100 [default] INFO: Spider opened
2011-02-16 10:54:47+0100 [default] DEBUG: Retrying <GET http://www.google.es> (failed 1 times): Connection was refused by other side: 111: Connection refused.
2011-02-16 10:54:47+0100 [default] DEBUG: Retrying <GET http://www.google.es> (failed 2 times): Connection was refused by other side: 111: Connection refused.
2011-02-16 10:54:47+0100 [default] DEBUG: Discarding <GET http://www.google.es> (failed 3 times): Connection was refused by other side: 111: Connection refused.
2011-02-16 10:54:47+0100 [default] ERROR: Error downloading <http://www.google.es>: [Failure instance: Traceback (failure with no frames): <class 'twisted.internet.error.ConnectionRefusedError'>: Connection was refused by other side: 111: Connection refused.
]
2011-02-16 10:54:47+0100 [scrapy] ERROR: Shell error
Traceback (most recent call last):
Failure: scrapy.exceptions.IgnoreRequest: Connection was refused by other side: 111: Connection refused.
2011-02-16 10:54:47+0100 [default] INFO: Closing spider (shutdown)
2011-02-16 10:54:47+0100 [default] INFO: Spider closed (shutdown)

Versions:

  • Scrapy 0.12.0.2536
  • Python 2.6.6
  • OS: Ubuntu 10.10

EDIT: je ne peux l'atteindre avec mon navigateur, wget, telnet google.es 80 et il arrive avec tous les sites.

Toute solution à cela? Je suis aussi confronté à ce lors de l'utilisation de proxy privoxy avec scrapy...

OriginalL'auteur anders | 2011-02-16

  1. 8

    Mission 1:
    Scrapy enverra un usergent avec "bot". Sites pourraient bloc basé sur l'agent utilisateur aussi.

    Essayer d'équitation USER_AGENT dans settings.py

    Par exemple: USER_AGENT = 'Mozilla/5.0 (X11; Linux x86_64; rv:7.0.1) Gecko/20100101 Firefox/7.7'

    Mission 2:
    Essayez de donner un délai entre la demande, d'usurper l'identité de l'homme est l'envoi de la demande.

    DOWNLOAD_DELAY = 0.25

    Mission 3:
    Si rien ne fonctionne, installer wireshark et voir la différence dans la demande de l'en-tête (ou) des données post
    alors que scrapy envoie et quand votre navigateur envoie.

    OriginalL'auteur nizam.sp

  2. 1

    Il y a probablement un problème avec votre connexion réseau.

    Tout d'abord, vérifiez votre connexion internet.

    Si vous avez accès au net via le serveur proxy, vous devez un morceau de code dans votre scrapy projet (http://doc.scrapy.org/en/latest/topics/downloader-middleware.html#scrapy.contrib.downloadermiddleware.httpproxy.HttpProxyMiddleware)

    De toute façon, essayez de mettre à niveau votre scrapy version.

    OriginalL'auteur Panos Angelopoulos

  3. 0

    J'ai eu l'erreur de trop. Il s'est avéré être causés par le port de j'ai été l'accès a été bloqué par le pare-feu. Mon serveur de ports bloqués par défaut, sauf si il est dans la liste blanche.

    OriginalL'auteur Aminah Nuraini