Les Alternatives à la Selenium Webdriver

J'utilise Selenium Webdriver pour C# et Python pour obtenir des éléments de données à partir de sites web, mais la vitesse du web scraping est terriblement lent. Grattage 35000 tableaux de données m'a pris environ 1,5 jour. Avec Selenium Webdriver je peux exécuter un code Javascript pour obtenir un Java élément. Est-il une librairie qui ne nécessite pas de quelque chose comme un Webdriver pour exécuter un code Javascript sur une page web pour récupérer les éléments et est en mesure de cliquer sur les éléments ainsi? Ou est-il une alternative plus rapide pour le Sélénium?

Avez-vous essayé de phantomjs? Voir cette question - stackoverflow.com/questions/8049520/...
Oui j'ai essayé de PhantomJS pour le Sélénium et il est plus rapide que la Chromedriver pour le Sélénium. J'ai aussi découvert que je peux obtenir de la table directement par l'extraction du texte entre les <tbody> ou <table> balises, au lieu de l'extraire de chaque élément de la table individuellement: pilote.find_element_by_tag_name("td") -> pilote.find_element_by_tag_name("tr").

OriginalL'auteur Robert Smit | 2015-04-16