Faites défiler jusqu'au bas de la page infinie avec PhantomJS en Python

J'ai réussi à obtenir Python de Sélénium et de PhantomJS pour recharger dynamiquement, un chargement infini défilement de la page, comme dans l'exemple ci-dessous. Mais comment cela pourrait-il être modifié, de sorte qu'au lieu de définir un certain nombre de recharge manuellement, le programme s'arrete lorsque l'on atteint le fond de roche?

reloads = 100000 #set the number of times to reload
pause = 0 #initial time interval between reloads
driver = webdriver.PhantomJS()

# Load Twitter page and click to view all results
driver.get(url)
driver.find_element_by_link_text("All").click()

# Keep reloading and pausing to reach the bottom
for _ in range(reloads):
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(pause)

text_file.write(driver.page_source.encode("utf-8"))
text_file.close()

InformationsquelleAutor DIGSUM | 2015-03-08

30

Vous pouvez vérifier si le rouleau n'a rien à chaque étape.
```
lastHeight = driver.execute_script("return document.body.scrollHeight")
while True:
    driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
    time.sleep(pause)
    newHeight = driver.execute_script("return document.body.scrollHeight")
    if newHeight == lastHeight:
        break
    lastHeight = newHeight
```
Il utilise un statique attendre montant qui est mauvais parce que vous ne voulez pas attendre inutile quand il se termine plus rapidement et vous ne voulez pas que le script se termine prématurément lors de la charge dynamique est trop lent pour plusieurs raisons.

Depuis une page habituellement en charge de plusieurs éléments dans une liste, vous pouvez vérifier la longueur de la liste avant de la charge et attendre jusqu'à ce que le prochain élément est chargé.

Pour twitter, cela pourrait ressembler à ceci:
```
while True:
    elemsCount = browser.execute_script("return document.querySelectorAll('.stream-items > li.stream-item').length")

    browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")

    try:
        WebDriverWait(browser, 20).until(
            lambda x: x.find_element_by_xpath(
                "//*[contains(@class,'stream-items')]/li[contains(@class,'stream-item')]["+str(elemsCount+1)+"]"))
    except:
        break
```
J'ai utilisé une expression XPath, parce que PhantomJS 1.x a un bug parfois lors de l'utilisation de :nth-child() sélecteurs CSS.

Version complète de référence.
- Ne fonctionne pas avec PhantomJS, il me semble.
- Aussi avec Firefox web pilote, deux hauteurs impression que "Aucun"
- Désolé, j'ai oublié le return et déplacé la veille à la bonne position.
- Le script semble être obsolète comme gridtimeline-objets et classes de grille sont inexistants. J'ai de la difficulté à s'adapter, pourriez-vous me diriger dans la bonne direction?
- Si vous rencontrez toujours des difficultés, j'ai fixé les scripts maintenant. (J'ai pris un peu plus longtemps que prévu)
- Je ne peux pas vous aider là-bas. Je n'utilise pas de PhantomJS plus. Le code de cette réponse a été testé avec PhantomJS 1.9.x. Je ne sais pas si il fonctionne toujours de la même façon avec v2.1.1 et je n'ai pas le temps ni l'envie de le découvrir. Au moins il ne devrait pas y avoir de changement en dehors de modifications html dans la page twitter. J'ai vu vos trois dernières questions. Le problème que je vois avec tous les d'eux est que vous dites que cela ne fonctionne pas, mais vous n'êtes pas fournir tout type d'indication que vous avez essayé de le déboguer. Comment le changement de page sur itération de boucle? Existe-il des erreurs? Avez-vous pris des captures d'écran?
- Le premier fonctionne parfaitement pour presque tous les cas.
InformationsquelleAutor Artjom B.

Vous devez vous connecter pour publier un commentaire.