scrapy comment définir referer url

Ce que je dois mettre l'url referer, avant de racler un site, le site utilise précisant l'url de base de l'Authentification, de sorte qu'il ne me permet pas de vous identifier si le referer n'est pas valide.

Quelqu'un pourrait-il dire à la façon de faire dans Scrapy?

OriginalL'auteur vumaasha | 2012-10-25

  1. 11

    Si vous souhaitez modifier le referer dans votre araignée demande, vous pouvez modifier DEFAULT_REQUEST_HEADERS dans le settings.py fichier

    Exemple:

    DEFAULT_REQUEST_HEADERS = {
    'Referer': 'http://www.google.com'
    }

    OriginalL'auteur Cristóbal Morales

  2. 9

    Vous devez faire exactement ce que @warwaruk indiqué, ci-dessous mon exemple d'élaboration pour une analyse de l'araignée:

    from scrapy.contrib.spiders import CrawlSpider
from scrapy.http import Request

class MySpider(CrawlSpider):
  name = "myspider"
  allowed_domains = ["example.com"]
  start_urls = [
      'http://example.com/foo'
      'http://example.com/bar'
      'http://example.com/baz'
      ]
  rules = [(...)]

  def start_requests(self):
    requests = []
    for item in start_urls:
      requests.append(Request(url=item, headers={'Referer':'http://www.example.com/'}))
    return requests    

  def parse_me(self, response):
    (...)

    Ce qui devrait générer à la suite de journaux dans votre terminal:

    (...)
[myspider] DEBUG: Crawled (200) <GET http://example.com/foo> (referer: http://www.example.com/)
(...)
[myspider] DEBUG: Crawled (200) <GET http://example.com/bar> (referer: http://www.example.com/)
(...)
[myspider] DEBUG: Crawled (200) <GET http://example.com/baz> (referer: http://www.example.com/)
(...)

    Fonctionnera même avec BaseSpider. En fin de compte start_requests méthode est BaseSpider méthode, à partir de laquelle CrawlSpider hérite.

    La Documentation explique plus d'options pour être mis dans la Demande en dehors des en-têtes, tels que: les cookies , en fonction de rappel, la priorité de la demande, etc

    OriginalL'auteur Kulbi

  3. 3

    Remplacer BaseSpider.start_requests et y créer votre custom Demande passant votre referer en-tête.

    OriginalL'auteur warvariuc

  4. 3

    Juste mis en Referer url dans les en-têtes de Requête

    class scrapy.http.Request(url[, method='GET', body, headers, ...

    headers (dict) – the headers of this request. The dict values can be strings (for single valued headers) or lists (for multi-valued headers).

    Exemple:

    return Request(url=your_url,
    headers={'Referer':'http://your_referer_url'})

    OriginalL'auteur hahakubile