scrapy de sortie du script en json

Je suis en cours d'exécution scrapy dans un script python

def setup_crawler(domain):
    dispatcher.connect(stop_reactor, signal=signals.spider_closed)
    spider = ArgosSpider(domain=domain)
    settings = get_project_settings()
    crawler = Crawler(settings)
    crawler.configure()
    crawler.crawl(spider)
    crawler.start()
    reactor.run()

il s'exécute avec succès et s'arrête, mais où est le résultat ? Je veux le résultat au format json, comment puis-je le faire?

result = responseInJSON

comme nous le faisons à l'aide de la commande

scrapy crawl argos -o result.json -t json

OriginalL'auteur Wasif Khalil | 2014-05-09

  1. 23

    Vous devez définir FEED_FORMAT et FEED_URI manuellement les paramètres:

    settings.overrides['FEED_FORMAT'] = 'json'
settings.overrides['FEED_URI'] = 'result.json'

    Si vous voulez obtenir les résultats dans une variable, vous pouvez définir un Pipeline classe de recueillir des éléments dans la liste. Utiliser le spider_closed gestionnaire de signal pour voir les résultats:

    import json

from twisted.internet import reactor
from scrapy.crawler import Crawler
from scrapy import log, signals
from scrapy.utils.project import get_project_settings


class MyPipeline(object):
    def process_item(self, item, spider):
        results.append(dict(item))

results = []
def spider_closed(spider):
    print results

# set up spider    
spider = TestSpider(domain='mydomain.org')

# set up settings
settings = get_project_settings()
settings.overrides['ITEM_PIPELINES'] = {'__main__.MyPipeline': 1}

# set up crawler
crawler = Crawler(settings)
crawler.signals.connect(spider_closed, signal=signals.spider_closed)
crawler.configure()
crawler.crawl(spider)

# start crawling
crawler.start()
log.start()
reactor.run()

    Pour info, regardez comment Scrapy analyse les arguments de ligne de commande.

    Voir aussi: La capture de la sortie standard stdout dans le même processus en Python.

    que faire si je ne veux pas d'elle dans un fichier? au lieu de cela, je le veux dans une variable?? résultat??
    J'ai mis à jour la réponse, lui donner un essai.
    superrrr!!! juste ce que je wantedddd thanksss!!
    u peut me dire comment puis-je exécuter plusieurs araignées de 1 script???

    OriginalL'auteur alecxe

  2. 11

    J'ai réussi à le faire fonctionner simplement en ajoutant le FEED_FORMAT et FEED_URI à la CrawlerProcess constructeur, à l'aide de la base de Scrapy API tutorial code comme suit:

    process = CrawlerProcess({
'USER_AGENT': 'Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)',
'FEED_FORMAT': 'json',
'FEED_URI': 'result.json'
})
    Certainement une solution facile pour les tests! Merci.

    OriginalL'auteur Alvaro Cavalcanti

  3. 4

    Facile!

    from scrapy import cmdline

cmdline.execute("scrapy crawl argos -o result.json -t json".split())

    Mettre ce script dans lequel vous mettez scrapy.cfg

    OriginalL'auteur Aminah Nuraini