accéder aux éléments web de sélénium avec python

Je suis sûr que cela a été répondu à quelque part, parce que c'est une question très simple - je ne peux pas, cependant, pour la vie de moi, de trouver la réponse sur le web. Je me sens comme un idiot, mais je vous demande donc, va ici:

Je suis en train d'écrire un code python qui permettra de produire une liste de toutes les adresses de page sur un domaine. Ceci est fait en utilisant le sélénium 2 - mon problème survient lorsque je tente d'accéder à la liste de tous les liens produite par le sélénium.

Voici ce que j'ai à ce jour:

from selenium import webdriver
import time

HovedDomene = 'http://www.example.com'
Listlinker = []
Domenesider = []
Domenesider.append(HovedDomene)

driver = webdriver.Firefox()

for side in Domenesider:        

        driver.get(side)
        time.sleep(10)
        Listlinker = driver.find_elements_by_xpath("//a")

        for link in Listlinker: 

            if link in Domenesider:
              pass
            elif str(HovedDomene) in str(link):
              Domenesider.append(side)

print(Domenesider)
driver.close()

la Listlinker variable ne contient pas les liens qui se trouvent sur la page plutôt que la liste contient, (je suppose ici) sélénium objets spécifiques appelés WebElements. Je ne peux pas, toutefois, de trouver tout WebElement attributs qui va me donner des liens - comme une question de fait, je ne peux pas trouver des exemples de WebElement attributs accessibles en python (au moins pas d'une manière que je peux reproduire)

Je voudrais vraiment apprécier l'aide de vous tous pouviez me donner

Sincèrement
Rookie

source d'informationauteur Rookie

  1. 18

    Je suis familier avec l'api python de sélénium
    mais vous pouvez probablement recevoir un lien à l'aide de get_attribute(attributename) méthode. Donc, il devrait être quelque chose comme:

    linkstr = ""
for link in Listlinker: 
  linkstr = link.get_attribute("href")

  if linkstr in Domenesider:
    pass
  elif str(HovedDomene) in linkstr:
    Domenesider.append(side)
  2. 0

    J'ai été vérifier sur votre astuce pour le pas de temps d'utilisation.sleep(10) comme un chargement de page d'attente. À partir de la lecture de différents posts itseems pour moi que d'attente pour le chargement des pages est redondante avec le sélénium 2. Se par exemple lier La raison étant que le sélénium 2 a un implicite d'attente pour la fonction de charge. Juste pensé que je le mentionne que pour vous, puisque vous avez pris le temps de répondre à ma question.

    Parfois, le sélénium se comporte de façon incertaine. Et parfois, le sélénium jette les erreurs qui ne sont pas intéressés pour nous. 

    By byCondition;
T result; // T is IWebElement
const int SELENIUMATTEMPTS = 5;
int timeout = 60 * 1000;
StopWatch watch = new StopWatch();
public T MatchElement<T>() where T : IWebElement
{
try
{
try {
this.result = this.find(WebDriver.Instance, this.byCondition);
}
catch (NoSuchElementException) { }
while (this.watch.ElapsedMilliseconds < this.timeout && !this.ReturnCondMatched)
{
Thread.Sleep(100);
try {
this.result = this.find(WebDriver.Instance, this.byCondition);
}
catch (NoSuchElementException) { }
}
}
catch (Exception ex)
{
if (this.IsKnownError(ex))
{
if (this.seleniumAttempts < SELENIUMATTEMPTS)
{
this.seleniumAttempts++;
return MatchElement();
}
}
else { log.Error(ex); }
}
return this.result;
}
public bool IsKnownError(Exception ex)
{
//if selenium find nothing it throw an exception. This is bad practice to my mind.
bool res = (ex.GetType() == typeof(NoSuchElementException));
//OpenQA.Selenium.StaleElementReferenceException: Element not found in the cache
//issue appears when selenium interact with other plugins.
//this is probably something connected with syncronization
res = res || (ex.GetType() == (typeof(InvalidSelectorException) && ex.Message
.Contains("Component returned failure code: 0x80070057 (NS_ERROR_ILLEGAL_VALUE)" +
"[nsIDOMXPathEvaluator.createNSResolver]"));
//OpenQA.Selenium.StaleElementReferenceException: Element not found in the cache
res = res || (ex.GetType() == typeof(StaleElementReferenceException) && 
ex.Message.Contains("Element not found in the cache"));
return res;
}

    Désolé pour le C# mais je suis débutant en Python. Le Code est simplifié bien sûr.