Réglage de la temporisation sur selenium webdriver.PhantomJS

La situation

J'ai un simple script python pour obtenir le source HTML pour une url donnée:

    browser = webdriver.PhantomJS()
    browser.get(url)
    content = browser.page_source

Parfois, l'url pointe vers une page avec la lenteur de chargement de ressources externes (par exemple, des fichiers vidéo, ou vraiment lent contenu de la publicité).

Webdriver va attendre jusqu'à ce que ces ressources sont chargées avant de remplir le .get(url) demande.

Remarque: Pour des raisons étrangères, j'ai besoin de faire cela avec PhantomJS plutôt que requests ou urllib2

La question

Je voudrais définir un délai d'attente sur PhantomJS de chargement de ressources, de sorte que si la ressource est trop long à charger, le navigateur juste suppose qu'il n'existe pas ou que ce soit.

Cela me permettrait d'effectuer ensuite les .pagesource requête basée sur ce que le navigateur a chargé.

La Documentation sur webdriver.PhantomJS est très mince, et je n'ai pas trouvé une question semblable sur.

merci d'avance!

OriginalL'auteur tohster | 2014-02-12

  1. 11

    PhantomJS a fourni resourceTimeout, qui pourrait répondre à vos besoins. Je cite à partir de la documentation ici

    (en milli-secondes) définit le délai d'expiration après laquelle toute ressource demandée
    va arrêter d'essayer et de procéder à d'autres parties de la page.
    onResourceTimeout callback sera appelé timeout.

    Donc en Ruby, vous pouvez faire quelque chose comme 

    require 'selenium-webdriver'

capabilities = Selenium::WebDriver::Remote::Capabilities.phantomjs("phantomjs.page.settings.resourceTimeout" => "5000")
driver = Selenium::WebDriver.for :phantomjs, :desired_capabilities => capabilities

    Je crois en Python, c'est quelque chose comme (non testé, permet uniquement de la logique, vous êtes le développeur Python, je l'espère, vous permettra de comprendre)

    driver = webdriver.PhantomJS(desired_capabilities={'phantomjs.page.settings.resourceTimeout': '5000'})
    Super réponse! Je n'avais pas compris comment le configurer à l'aide de PhantomJS desired_capabilities, de sorte que non seulement cela répond à ma question, mais montre de façon plus générale comment configurer PhantomJS à l'aide de la référence de l'API que vous avez fournis.
    Je suis cette et encore voir des ressources de délais d'attente -- c'est avec le sélénium (via python) et phantomjs 1.9.7.
    Je suis en train de le faire fonctionner sur Python aussi Adam. pas beaucoup de savoir. stackoverflow.com/questions/23177659/...

    OriginalL'auteur Yi Zeng

  2. 16

    Longue Explication ci-dessous, afin de TLDR:

    Version actuelle de Sélénium Ghostdriver (en PhantomJS 1.9.8) ignore resourceTimeout option, utilisez webdriver est implicitly_wait(), set_page_load_timeout() et de les emballer sous try-except bloc.

    #Python
from selenium import webdriver
from selenium.common.exceptions import TimeoutException

browser = webdriver.PhantomJS()
browser.implicitly_wait(3)
browser.set_page_load_timeout(3)
try:
    browser.get("http://url_here")
except TimeoutException as e:
    #Handle your exception here
    print(e)
finally:
    browser.quit()

    Explication

    De fournir PhantomJS les paramètres de la page le Sélénium, on peut utiliser webdriver est DesiredCapabilities tels que:

    #Python
from selenium import webdriver
cap = webdriver.DesiredCapabilities.PHANTOMJS
cap["phantomjs.page.settings.resourceTimeout"] = 1000
cap["phantomjs.page.settings.loadImages"] = False
cap["phantomjs.page.settings.userAgent"] = "faking it"
browser = webdriver.PhantomJS(desired_capabilities=cap)
    //Java
DesiredCapabilities capabilities = DesiredCapabilities.phantomjs();
capabilities.setCapability("phantomjs.page.settings.resourceTimeout", 1000);
capabilities.setCapability("phantomjs.page.settings.loadImages", false);
capabilities.setCapability("phantomjs.page.settings.userAgent", "faking it");
WebDriver webdriver = new PhantomJSDriver(capabilities);

    Mais, le hic, c'est Qu'aujourd'hui (2014/Dec/11) avec PhantomJS 1.9.8 et embarqué Ghostdriver, resourceTimeout ne sera pas appliqué par Ghostdriver (Voir la Ghostdriver question n ° 380 de Github).

    Pour une solution, il suffit d'utiliser le Sélénium du délai d'expiration des fonctions/méthodes et les envelopper webdriver de la méthode d'obtenir un essayez-à l'exception de/bloc try-catch, par exemple

    #Python
from selenium import webdriver
from selenium.common.exceptions import TimeoutException

browser = webdriver.PhantomJS()
browser.implicitly_wait(3)
browser.set_page_load_timeout(3)
try:
    browser.get("http://url_here")
except TimeoutException as e:
    #Handle your exception here
    print(e)
finally:
    browser.quit()
    //Java
WebDriver webdriver = new PhantomJSDriver();
webdriver.manage().timeouts()
        .pageLoadTimeout(3, TimeUnit.SECONDS)
        .implicitlyWait(3, TimeUnit.SECONDS);
try {
    webdriver.get("http://url_here");
} catch (org.openqa.selenium.TimeoutException e) {
    //Handle your exception here
    System.out.println(e.getMessage());
} finally {
    webdriver.quit();
}
    Confirmé problème se produit encore 7/14/2017, ce qui signifie qu'il ne sera probablement pas jamais être corrigé. PhantomJs ver 2.1.1 Sélénium 3.4.3. Cependant, set_page_load_timeout œuvres de charme.

    OriginalL'auteur EwyynTomato