Comment puis-je analyser un site web en utilisant le Sélénium et le Beautifulsoup en python?

Nouveau à la programmation et compris comment naviguer à l'endroit où j'ai besoin d'aller à l'aide de Sélénium. J'aimerais analyser les données maintenant, mais vous ne savez pas par où commencer. Quelqu'un peut-il me tenir la main, une seconde et me pointer dans la bonne direction?

Toute aide appréciée -

  • Ce n'est pas une question malheureusement, vous devez vous demander quelque chose de plus spécifique.
  • Twitch, si vous êtes vraiment nouveau à Python et à la programmation en général, j'essayerais de travail vous un chemin à travers les learnpythonthehardway.org - basée sur certaines de vos questions ci-dessous, je pense qu'il serait d'une grande aide. À partir de là, vous serez en mesure de poster plus spécifiques (et devant) questions ici.
  • Cette question m'a aidé
InformationsquelleAutor twitch after coffee | 2012-12-19
  1. 99

    En supposant que vous êtes sur la page que vous souhaitez analyser, Sélénium, les magasins la source HTML dans le pilote de l' page_source attribut. Vous pouvez alors charger le page_source en BeautifulSoup comme suit:

    In [8]: from bs4 import BeautifulSoup

In [9]: from selenium import webdriver

In [10]: driver = webdriver.Firefox()

In [11]: driver.get('http://news.ycombinator.com')

In [12]: html = driver.page_source

In [13]: soup = BeautifulSoup(html)

In [14]: for tag in soup.find_all('title'):
   ....:     print tag.text
   ....:     
   ....:     
Hacker News
    • +1, de revenir, et un peu de texte 🙂
    • Haha, un agréable séjour d'échange.
    • soupe = BeautifulSoup(html) NameError: name 'html' n'est pas défini, C'est l'erreur que je reçois, des suggestions
    • Ainsi, dans le code ci-dessus, html se réfère à la source de la page. Chaque fois que vous accéder à votre page, votre driver objet d'un attribut appelé page_source, et le code ci-dessus affecte cette valeur à html. Notez que cette étape n'est pas vraiment nécessaire que vous pouviez juste passer driver.page_source directement à BeautifulSoup (en tant que root n'a ci-dessus).
    • Travaillé, ne les jetez pas des erreurs, mais n'est pas réellement imprimer quoi que ce soit
    • Ainsi l'exemple là-haut cherche un title marque, de sorte que dans le cas particulier de la page ne dispose pas d'un rien, alors va le montrer. Essayez d'exécuter print soup.prettyify() - voyez-vous quelque chose?
    • Faire que soup.prettify()...
    • Je veux faire le contraire. Je veux sélectionner un élément à l'aide de beautifulsoup, puis effectuer une action à l'aide de chrome pilote.Comment puis-je faire cela

    InformationsquelleAutor RocketDonkey
  2. 15

    Que votre question n'est pas particulièrement concret, voici un exemple simple. Faire quelque chose de plus utile de lire le BS docs. Vous trouverez également de nombreux exemples de sélénium (et BS )utilisation ici dans la.

    from selenium import webdriver
from bs4 import BeautifulSoup

browser=webdriver.Firefox()
browser.get('http://webpage.com')

soup=BeautifulSoup(browser.page_source)

#do something useful
#prints all the links with corresponding text

for link in soup.find_all('a'):
    print link.get('href',None),link.get_text()
    • +1, ne voyait-il à ce que j'étais en tapant 🙂
    • Pour cela, j'ai eu de la soupe=BeautifulSoup(navigateur.page_source) NameError: name 'navigateur' n'est pas défini
    • le code est ok. browser=webdriver.Firefox() définit browser. il suffit de copier directement le code...vous devez avoir fait une erreur.
    • eu, mais n'a pas d'imprimer quoi que ce soit. L'exécution à l'extérieur de python en python xx.py
    • soup=BeautifulSoup(browser.page_source) c'est la même chose avec chrome
    • Je veux faire le contraire. Je veux sélectionner un élément à l'aide de beautifulsoup, puis effectuer une action à l'aide de chrome pilote.Comment puis-je faire cela

    InformationsquelleAutor root
  3. 2

    Êtes-vous sûr que vous voulez utiliser le Sélénium? C'est pour cette raison que j'ai utilisé PyQt4, c'est très puissant, et vous pouvez faire ce que vous voulez.

    Je peux vous donner un exemple de code, que je viens d'écrire, il suffit de changer l'url et vous bon aller:

    #! /usr/bin/env python2.7

from PyQt4.QtCore import *
from PyQt4.QtGui import *
from PyQt4.QtWebKit import *
from bs4 import BeautifulSoup
import sys, signal

class Browser(QWebView):
    def __init__(self):
        QWebView.__init__(self)
        self.loadProgress.connect(self._progress)
        self.loadFinished.connect(self._loadFinished)
        self.frame = self.page().currentFrame()

    def _progress(self, progress):
        print str(progress) + "%"

    def _loadFinished(self):
        print "Load Finished"
        html = unicode(self.frame.toHtml()).encode('utf-8')
        soup = BeautifulSoup(html)
        print soup.prettify()
        self.close()

if __name__ == "__main__":
    app = QApplication(sys.argv)
    br = Browser()
    url = QUrl('http://web site that can contain javascript.com')
    br.load(url)
    br.show()
    if signal.signal(signal.SIGINT, signal.SIG_DFL):
        sys.exit(app.exec_())
    app.exec_()
    • J'ai trouvé PyQt4 une énorme douleur à utiliser. Selon des OP exigences, en utilisant seulement BeautifulSoup est probablement beaucoup plus facile.
    • ce que tu veux dire, " juste à l'aide de BeautifulSoup est probablement beaucoup plus facile."
    • OP ici, Belle soupe m'a permis de nav pour la section je veux analyser très facile. Je préfère rester avec elle si possible.
    • J'aimerais utiliser pyqt4 au lieu de sélénium - c'est tellement plus rapide. mais quand je l'ai installer via windows binaire - et d'essayer d'importer et d'exécuter ce code, il ne peut pas trouver la bibliothèque. S'il vous plaît aider
    • Je suis à la recherche de la solution à port mon CLI Sélénium outil graphique, Va intégrer un contrôle de navigateur en PyQT peut être consulté par le Sélénium?
    InformationsquelleAutor Vor