Scrapy - Réacteur pas de Redémarrage

C'est ce qui a aidé pour moi de gagner la bataille contre ReactorNotRestartable erreur: dernière réponse de l'auteur de la question

0) pip install crochet

1) import from crochet import setup

2) setup() - en haut du fichier

3) retirez les 2 lignes:

a) d.addBoth(lambda _: reactor.stop())

b) reactor.run()

J'ai eu le même problème avec cette erreur, et de passer plus de 4 heures pour résoudre ce problème, lisez toutes les questions à ce sujet. Enfin constaté que l'un - et de les partager. Voilà comment j'ai résolu ce problème. Le sens des lignes de Scrapy docs gauche sont les 2 dernières lignes dans mon code:

#some more imports
from crochet import setup
setup()

def run_spider(spiderName):
    module_name="first_scrapy.spiders.{}".format(spiderName)
    scrapy_var = import_module(module_name)   #do some dynamic import of selected spider   
    spiderObj=scrapy_var.mySpider()           #get mySpider-object from spider module
    crawler = CrawlerRunner(get_project_settings())   #from Scrapy docs
    crawler.crawl(spiderObj)                          #from Scrapy docs

Ce code me permet de sélectionner ce que l'araignée à faire fonctionner juste avec son nom transmis à run_spider fonction et après la démolition de finitions - sélectionnez une autre araignée, et de l'exécuter à nouveau.

Espérons que cela aidera quelqu'un, car il a pour moi 🙂

L'erreur dans ce code:

def __call__(self):
    result1 = test.web_crawler()[1]
    result2 = test.web_crawler()[0] # here

web_crawler() retourne deux résultats, et à cette fin, il essaie de démarrer le processus deux fois, le redémarrage du Réacteur, comme indiqué par @Rejeté.

l'obtention de résultats à l'exécution d'une procédure unique, et de stocker à la fois les résultats dans un tuple, est la voie à suivre ici:

def __call__(self):
    result1, result2 = test.web_crawler()

Que quelques personnes ont souligné déjà: Vous ne devriez pas avoir besoin de redémarrer le réacteur.

Idéalement si vous voulez à la chaîne de votre processus (crawl1 puis crawl2 puis crawl3) il suffit d'ajouter des rappels.

Par exemple, j'ai été en utilisant cette boucle d'araignée qui suit ce modèle:

1. Crawl A
2. Sleep N
3. goto 1

Et c'est à quoi il ressemble dans scrapy:

import time

from scrapy.crawler import CrawlerRunner
from scrapy.utils.project import get_project_settings
from twisted.internet import reactor

class HttpbinSpider(scrapy.Spider):
    name = 'httpbin'
    allowed_domains = ['httpbin.org']
    start_urls = ['http://httpbin.org/ip']

    def parse(self, response):
        print(response.body)

def sleep(_, duration=5):
    print(f'sleeping for: {duration}')
    time.sleep(duration)  # block here


def crawl(runner):
    d = runner.crawl(HttpbinSpider)
    d.addBoth(sleep)
    d.addBoth(lambda _: crawl(runner))
    return d


def loop_crawl():
    runner = CrawlerRunner(get_project_settings())
    crawl(runner)
    reactor.run()


if __name__ == '__main__':
    loop_crawl()

Pour expliquer le processus de la crawl fonction des horaires d'une analyse et apporte deux rappels qui sont appelés lors de l'analyse: le blocage du sommeil et de l'appel récursif à lui-même (prévoir une autre analyse).

$ python endless_crawl.py 
b'{\n  "origin": "000.000.000.000"\n}\n'
sleeping for: 5
b'{\n  "origin": "000.000.000.000"\n}\n'
sleeping for: 5
b'{\n  "origin": "000.000.000.000"\n}\n'
sleeping for: 5
b'{\n  "origin": "000.000.000.000"\n}\n'
sleeping for: 5