Exporter le fichier csv à partir de scrapy (pas via la ligne de commande)

J'ai réussi a essayé d'exporter mes articles dans un fichier csv à partir de la ligne de commande comme:

   scrapy crawl spiderName -o filename.csv

Ma question est:
Quelle est la solution la plus simple pour faire la même chose dans le code? J'ai besoin de ce que j'ai extrait le fichier dans un autre fichier.
La fin de scénario devrait être, que j'appelle

  scrapy crawl spiderName

et il écrit des articles dans le nom de fichier.csv

source d'informationauteur Chris

  1. 15

    Pourquoi ne pas utiliser un élément de canalisation?

    WriteToCsv.py

       import csv
   from YOUR_PROJECT_NAME_HERE import settings

   def write_to_csv(item):
       writer = csv.writer(open(settings.csv_file_path, 'a'), lineterminator='\n')
       writer.writerow([item[key] for key in item.keys()])

   class WriteToCsv(object):
        def process_item(self, item, spider):
            write_to_csv(item)
            return item

    settings.py

       ITEM_PIPELINES = { 'project.pipelines_path.WriteToCsv.WriteToCsv' : A_NUMBER_HIGHER_THAN_ALL_OTHER_PIPELINES}
   csv_file_path = PATH_TO_CSV

    Si vous voulais des éléments à être écrit pour séparer un fichier csv pour séparer les araignées vous pourriez donner à votre spider un CSV_PATH champ. Ensuite, dans votre pipeline utiliser votre araignées champ au lieu de chemin de setttigs.

    Cela fonctionne je l'ai testé dans mon projet.

    HTH

    http://doc.scrapy.org/en/latest/topics/item-pipeline.html

  2. 1

    C'est ce que Nourrir les Exportations sont pour:
    http://doc.scrapy.org/en/latest/topics/feed-exports.html

    L'un des plus fréquemment les fonctionnalités requises lors de la mise en œuvre des grattoirs est d'être capable de stocker la raclé les données correctement et, assez souvent, que des moyens de génération d'un “fichier d'exportation” avec la raclée de données (communément appelé “l'exportation d'alimentation”) pour être consommés par d'autres systèmes.

    Scrapy fournit cette fonctionnalité hors de la boîte avec le Flux des Exportations, ce qui vous permet de générer un flux avec la raclée éléments, l'utilisation de plusieurs formats de sérialisation et de stockage backends.