Grattage du contenu dynamique à l'aide de python-Scrapy

Avertissement: j'ai vu de nombreux autres postes similaires sur StackOverflow et a essayé de le faire de la même manière, mais ils ne semblent pas travailler sur ce site.

Je suis en utilisant Python-Scrapy pour l'obtention de données de koovs.com.

Cependant, je ne suis pas en mesure d'obtenir la taille du produit, qui est généré de façon dynamique. Plus précisément, si quelqu'un pouvait me guider un peu sur l'obtention de la "Non disponibles" taille de la balise dans le menu déroulant sur cette lien, je lui en serais reconnaissant.

Je suis en mesure d'obtenir la taille de la liste de manière statique, mais de faire ce que je seulement obtenir la liste des tailles, mais pas celles qui sont disponibles.

  • Corrigez-moi si je me trompe, vous êtes en mesure d'obtenir la liste des tailles, mais ayant des difficultés à filtrer les tailles disponibles?
  • Exactement! Je suis en mesure de les obtenir de manière statique et de faire ce que je seulement obtenir la liste des tailles et pas n'importe lequel d'entre eux sont disponibles. Je vais ajouter ceci à la question.
  • Seriez-vous d'accord impliquant le sélénium?
  • Je n'ai jamais vraiment utilisé sélénium, mais si c'est uniquement nécessaire pour obtenir certaines données et n'est pas requise pendant le raclage puis c'est bon. Pourriez-vous me guider un peu sur la façon de l'utiliser?
InformationsquelleAutor Pravesh Jain | 2015-05-20
  1. 39

    Vous pouvez également résoudre ce problème avec ScrapyJS (pas besoin de selenium et un vrai navigateur):

    Cette bibliothèque fournit Scrapy+l'intégration de JavaScript à l'aide de projections d'eau.

    Suivez les instructions d'installation pour Splash et ScrapyJS, démarrer le splash conteneur docker:

    $ docker run -p 8050:8050 scrapinghub/splash

    Mettre les paramètres suivants dans settings.py:

    SPLASH_URL = 'http://192.168.59.103:8050' 

DOWNLOADER_MIDDLEWARES = {
    'scrapyjs.SplashMiddleware': 725,
}

DUPEFILTER_CLASS = 'scrapyjs.SplashAwareDupeFilter'

    Et voici votre échantillon d'araignée qui est capable de voir la taille de la disponibilité de l'information:

    # -*- coding: utf-8 -*-
import scrapy


class ExampleSpider(scrapy.Spider):
    name = "example"
    allowed_domains = ["koovs.com"]
    start_urls = (
        'http://www.koovs.com/only-onlall-stripe-ls-shirt-59554.html?from=category-651&skuid=236376',
    )

    def start_requests(self):
        for url in self.start_urls:
            yield scrapy.Request(url, self.parse, meta={
                'splash': {
                    'endpoint': 'render.html',
                    'args': {'wait': 0.5}
                }
            })

    def parse(self, response):
        for option in response.css("div.select-size select.sizeOptions option")[1:]:
            print option.xpath("text()").extract()

    Ici est ce qui est imprimé sur la console:

    [u'S /34 -- Not Available']
[u'L /40 -- Not Available']
[u'L /42']
    • Les deux grandes réponses. Les deux approches de travail. Je me demande si il ya un avantage à l'aide de l'un d'entre eux?
    • ce que je comprends, si vous êtes d'accord avec les deux approches, je m'en tiendrais aux éclaboussures en théorie, cela devrait être plus rapide car il n'implique pas un vrai navigateur. En outre, vous pouvez utiliser cette option dans un non-réel à l'écran sans tête environnement. Il est également facile à mettre en place et il n'y a presque pas de changements à la scrapy de code de la clé est la partie middleware scrapyjs fournit. Espérons que cela aide.
    • $ docker run-p 8050:8050 scrapinghub/splash - cette commande..comment puis-je automatiser cette commande avec scrapy à recueillir des données à l'aide d'un cron job scheduler.. il n'est évidemment pas une bonne idée de garder docker processus en cours d'exécution à tous les temps..peut-être certains sh script avant de me faire appel à des réacteurs à l'heure prévue ?
    • ok, vous vous demandez probablement sur docker client python, voir github.com/docker/docker-py
    • Lorsque j'utilise exactement la même solution, qu'il arrive encore et encore. Je viens de changer l'url de quelque chose qui est disponible dès maintenant en magasin.
    • Peut-être une question stupide, mais où est l'settings.py fichier? J'ai regardé dans les applications, les pensions de titres de la zone de menu fixe créée, et quelques autres aléatoire endroits, j'ai pensé qu'il pourrait être. Aucune idée de l'endroit où le trouver. Je suis sous OS X High Sierra.
    • l'settings.py doit être stocké dans le répertoire du projet. ProjectName > projectName > settings.py
    • est docker disponible sur windows 10 et est-il gratuit?!
    • ou peut-on utiliser splash avec scrapy sans docker???
    • il techniquement n'utilisez un navigateur: It's a lightweight browser with an HTTP API

    InformationsquelleAutor alecxe
  2. 6

    De ce que je comprends, la taille de la disponibilité est déterminée dynamiquement en javascript exécuté dans le navigateur. Scrapy est pas un navigateur et ne peut pas exécuter le code javascript.

    Si vous êtes d'accord avec le passage de sélénium navigateur outil d'automatisation, voici un exemple de code:

    from selenium import webdriver
from selenium.webdriver.support.select import Select
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC

browser = webdriver.Firefox()  # can be webdriver.PhantomJS()
browser.get('http://www.koovs.com/only-onlall-stripe-ls-shirt-59554.html?from=category-651&skuid=236376')

# wait for the select element to become visible
select_element = WebDriverWait(browser, 10).until(EC.visibility_of_element_located((By.CSS_SELECTOR, "div.select-size select.sizeOptions")))

select = Select(select_element)
for option in select.options[1:]:
    print option.text

browser.quit()

    Il imprime:

    S / 34 -- Not Available
L / 40 -- Not Available
L / 42

    Noter qu'à la place de Firefox vous pouvez utiliser d'autres webdrivers comme Chrome ou Safari. Il y a aussi une option pour utiliser une tête PhantomJS navigateur.

    Vous pouvez également combiner Scrapy avec le Sélénium, si nécessaire, voir:

    InformationsquelleAutor alecxe
  3. 1

    J'ai fait face à ce problème et résolu facilement en suivant ces étapes

    pip install splash

    pip install scrapy-splash

    pip install scrapyjs

    télécharger et installer docker-boîte à outils

    ouvrir le panneau-quickterminal et entrez 

    $ docker run -p 8050:8050 scrapinghub/splash

    Pour définir le SPLASH_URL vérifier l'ip par défaut configuré dans le panneau de la machine en entrant
    $ docker-machine ip default     (Mon IP a été 192.168.99.100)

    SPLASH_URL = 'http://192.168.99.100:8050'
DOWNLOADER_MIDDLEWARES = {
    'scrapyjs.SplashMiddleware': 725,
}

DUPEFILTER_CLASS = 'scrapyjs.SplashAwareDupeFilter'

    Que c'est!

    InformationsquelleAutor Srivardhan Cholkar
  4. 0

    Vous devez interpréter le json du site, des exemples
    scrapy.readthedocs et
    testingcan.github.io

    import scrapy
import json
class QuoteSpider(scrapy.Spider):
   name = 'quote'
   allowed_domains = ['quotes.toscrape.com']
   page = 1
   start_urls = ['http://quotes.toscrape.com/api/quotes?page=1]

   def parse(self, response):
      data = json.loads(response.text)
      for quote in data["quotes"]:
        yield {"quote": quote["text"]}
      if data["has_next"]:
          self.page += 1
          url = "http://quotes.toscrape.com/api/quotes?page={}".format(self.page)
          yield scrapy.Request(url=url, callback=self.parse)
    InformationsquelleAutor Alexis Mejía