Comment envoyer un cookie avec scrapy CrawlSpider demandes?

Je suis en train de créer ce Reddit scrapper à l'aide de Python Scrapy cadre.

J'ai utilisé le CrawSpider à ramper à travers Reddit et ses subreddits. Mais, quand je viens à travers les pages qui ont des contenus pour adultes, le site demande un cookie over18=1.

Donc, j'ai essayé d'envoyer un cookie avec toutes les demandes que l'araignée fait, mais sa ne fonctionne pas.

Ici, c'est mon araignée code. Comme vous pouvez le voir j'ai essayé d'ajouter un cookie avec tous les spider demande l'aide de la start_requests() méthode.

Quelqu'un ici pourrait me dire comment faire cela? Ou ce que j'ai fais de mal?

from scrapy import Spider
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor
from reddit.items import RedditItem
from scrapy.http import Request, FormRequest

class MySpider(CrawlSpider):
    name = 'redditscraper'
    allowed_domains = ['reddit.com', 'imgur.com']
    start_urls = ['https://www.reddit.com/r/nsfw']

    rules = (
        Rule(LinkExtractor(
            allow=['/r/nsfw/\?count=\d*&after=\w*']),
            callback='parse_item',
            follow=True),
    )

    def start_requests(self):
        for i,url in enumerate(self.start_urls):
            print(url)
            yield Request(url,cookies={'over18':'1'},callback=self.parse_item)

    def parse_item(self, response):
        titleList = response.css('a.title')

        for title in titleList:
            item = RedditItem()
            item['url'] = title.xpath('@href').extract()
            item['title'] = title.xpath('text()').extract()
            yield item
Est le cookie dans request.cookies?
Aucun son n'est pas, je suppose. J'ai spécifié le cookie dans Request(url,cookies={'over18':'1'},callback=self.parse_item)

OriginalL'auteur Parthapratim Neog | 2015-09-17

  1. 14

    D'accord. Essayez de faire quelque chose comme ça.

    def start_requests(self):
    headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.85 Safari/537.36'}
    for i,url in enumerate(self.start_urls):
        yield Request(url,cookies={'over18':'1'}, callback=self.parse_item, headers=headers)

    C'est le User-Agent qui vous bloque.

    Edit:

    Ne sais pas quel est le problème avec CrawlSpider mais Spider peut travailler de toute façon.

    #!/usr/bin/env python
# encoding: utf-8
import scrapy


class MySpider(scrapy.Spider):
    name = 'redditscraper'
    allowed_domains = ['reddit.com', 'imgur.com']
    start_urls = ['https://www.reddit.com/r/nsfw']

    def request(self, url, callback):
        """
         wrapper for scrapy.request
        """
        request = scrapy.Request(url=url, callback=callback)
        request.cookies['over18'] = 1
        request.headers['User-Agent'] = (
            'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, '
            'like Gecko) Chrome/45.0.2454.85 Safari/537.36')
        return request

    def start_requests(self):
        for i, url in enumerate(self.start_urls):
            yield self.request(url, self.parse_item)

    def parse_item(self, response):
        titleList = response.css('a.title')

        for title in titleList:
            item = {}
            item['url'] = title.xpath('@href').extract()
            item['title'] = title.xpath('text()').extract()
            yield item
        url = response.xpath('//a[@]/@href').extract_first()
        if url:
            yield self.request(url, self.parse_item)
        # you may consider scrapy.pipelines.images.ImagesPipeline :D
    Il a travaillé. Mais avant que j'accepte de vous répondre, je pense que le cookie ne fonctionne que pour la première demande, sa ne fonctionne pas pour la pagination à la demande. j'.e son ne fonctionne que pour les start_urls mais pas pour le paginé Url que nous obtenons de la LinkExtractor
    En fait le problème est autre chose, j'utilise le start_requests() méthode, l'analyse s'arrête à une page. Mais je l'enlever, il commence à explorer la pagination. Me demande pourquoi!
    Aw, le cookie défini par le client ne sera pas le garder eux-mêmes entre les demandes, comme celles envoyées par le serveur. Peut-être cookiejar fera.
    Son fonctionnement. Grand. Merci pour l'aide. Ne savais pas que vous avez posté un montage. Drôle je ne reçois pas toutes les notifications. De toute façon, avoir à faire des recherches sur ce qui est mal avec CrawlSpider

    OriginalL'auteur esfy

  2. 3

    Vous pouvez également l'envoyer via l'en-tête.

    scrapy.Request(url=url, callback=callback, headers={'Cookie':my_cookie})

    OriginalL'auteur Aminah Nuraini

  3. 3

    Le Scrapy Docs

    1.À l'aide d'un dict:

    request_with_cookies = Request(url="http://www.example.com",
                               cookies={'currency': 'USD', 'country': 'UY'})

    2.À l'aide d'une liste des dicts:

    request_with_cookies = Request(url="http://www.example.com",
                               cookies=[{'name': 'currency',
                                        'value': 'USD',
                                        'domain': 'example.com',
                                        'path': '/currency'}])

    OriginalL'auteur CTD

  4. 0

    Vous pouvez utiliser le process_request paramètre dans la règle, quelque chose comme:

        rules = (
    Rule(LinkExtractor(
        allow=['/r/nsfw/\?count=\d*&after=\w*']),
        callback='parse_item',
        process_request='ammend_req_header',
        follow=True)

    def ammend_req_header(self, request):
        request.cookies['over18']=1
        return request

    OriginalL'auteur tomstell