analyse site possède une infinité de défilement à l'aide de python

J'ai fait des recherches et pour l'instant j'ai trouvé le paquet python que je vous prévoyez sur l'utilisation de ses scrapy, maintenant j'essaie de trouver ce qui est une bonne façon de construire un racloir à l'aide de scrapy pour analyser le site avec un nombre infini de défilement. Après avoir creusé autour, j'ai trouvé qu'il y a un paquet d'appel de sélénium et il a module python. J'ai le sentiment que quelqu'un l'a déjà fait à l'aide de Scrapy et Le sélénium pour gratter le site avec un nombre infini de défilement. Ce serait génial si quelqu'un peut pointer vers un exemple.

Une façon de le faire est de déclencher certaines touches fléchées de votre clavier pour faire de votre navigateur, faites défiler vers le bas.
Prendre un coup d'oeil: stackoverflow.com/questions/17975471/...

OriginalL'auteur add-semi-colons | 2014-03-28

  1. 2
    from selenium.webdriver.common.keys import Keys
import selenium.webdriver
driver = selenium.webdriver.Firefox()
driver.get("http://www.something.com")
lastElement = driver.find_elements_by_id("someId")[-1]
lastElement.send_keys(Keys.NULL)

    Cela va ouvrir une page, trouver le plus bas de l'élément avec le id et le défilement de l'élément dans la vue. Vous devrez garder de l'interrogation du pilote pour obtenir le dernier élément que la page se charge plus, et j'ai trouvé que c'était assez lent comme les pages d'obtenir une grande. Le temps est dominé par l'appel à driver.find_element_* parce que je ne sais pas d'une manière explicitement interroger le dernier élément dans la page.

    Par l'expérimentation que vous pourriez trouver qu'il y a une limite supérieure à la somme des éléments de la page se charge dynamiquement, et il serait mieux si vous avez écrit quelque chose que chargé de ce nombre, et seulement alors, fait un appel à driver.find_element_*.

    OriginalL'auteur maxywb

  2. 2

    Vous pouvez utiliser le sélénium à la ferraille de l'infini défilement site web comme twitter ou facebook.

    Étape 1 : Installez le Sélénium aide de pip 

    pip install selenium

    Étape 2 : utilisez le code ci-dessous pour automatiser infini défilement et d'extraire le code source

    from selenium import webdriver
from selenium.webdriver.common.by import By
from selenium.webdriver.common.keys import Keys
from selenium.webdriver.support.ui import Select
from selenium.webdriver.support.ui import WebDriverWait
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support import expected_conditions as EC
from selenium.common.exceptions import NoSuchElementException
from selenium.common.exceptions import NoAlertPresentException
import sys

import unittest, time, re

class Sel(unittest.TestCase):
    def setUp(self):
        self.driver = webdriver.Firefox()
        self.driver.implicitly_wait(30)
        self.base_url = "https://twitter.com"
        self.verificationErrors = []
        self.accept_next_alert = True
    def test_sel(self):
        driver = self.driver
        delay = 3
        driver.get(self.base_url + "/search?q=stackoverflow&src=typd")
        driver.find_element_by_link_text("All").click()
        for i in range(1,100):
            self.driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
            time.sleep(4)
        html_source = driver.page_source
        data = html_source.encode('utf-8')


if __name__ == "__main__":
    unittest.main()

    La boucle for permet d'analyser à travers l'infini des parchemins et des post que vous pouvez extraire les données chargées.

    Etape 3 : Imprimez les données si nécessaire.

    OriginalL'auteur Pawan Kumar