Comment obtenir des données à partir d'inspecter l'élément d'une page web à l'aide de Python

Je voudrais obtenir les données à partir d'inspecter l'élément à l'aide de Python. Je suis en mesure de télécharger le code source à l'aide de BeautifulSoup, mais maintenant j'ai besoin de le texte à partir d'inspecter l'élément d'une page web. Je serais vraiment reconnaissant si vous pouviez me conseiller comment le faire.

Edit:
Par inspecter l'élément que je veux dire, dans google chrome, cliquez à droite nous donne une option appelée " inspecter l'élément qui a le code relatives à chaque élément de cette page en particulier. J'aimerais de l'extrait de code/juste ses chaînes de texte.

Vous allez avoir à décrire ce que vous voulez faire beaucoup plus clairement. Qu'est ce qu'un "inspecter l'élément"? Veuillez donner un exemple de ce que vous voulez faire.
Il n'utilise pas de Python, mais chrome vous permet de Copy as HTML si vous cliquez-droit sur le bleu de la ligne sélectionnée dans l'éditeur.
Est-il un autre moyen de le faire, car je vais devoir le faire pour de nombreuses pages. Aussi, Exemplaire au format HTML est-il que pour une seule ligne, comme par ma compréhension. @AndrewJohnson
pouvez-vous ne pas extraire de tout cela dans le code html que vous avez téléchargé?
Correct. Copy as HTML vous donne juste l'élément sélectionné à partir d'une page. Ci-dessous, je vais donner un simple web-racloir, qui vous donnerait le même résultat via python automatiquement.

OriginalL'auteur user3783999 | 2014-07-30

  1. 4

    Si vous voulez récupérer automatiquement une page web à partir de Python dans une manière qui exécute le Javascript, vous devriez regarder en Sélénium. Il peut automatiquement un navigateur web (même une tête navigateur web tel que PhantomJS, de sorte que vous n'avez pas à avoir une fenêtre ouverte).

    Afin d'obtenir le code HTML, vous aurez besoin d'évaluer un peu de javascript. Simple exemple de code, le modifier pour l'adapter à:

    from selenium import webdriver

driver = webdriver.PhantomJS()
driver.get("http://google.com")

# This will get the initial html - before javascript
html1 = driver.page_source

# This will get the html after on-load javascript
html2 = driver.execute_script("return document.documentElement.innerHTML;")

    Note 1: Si vous voulez un élément spécifique ou des éléments, en fait, vous avez quelques options -- analyser le code HTML, Python, ou d'écrire plus de JavaScript spécifique qui renvoie ce que vous voulez.

    Note 2: si vous avez réellement besoin d'informations spécifiques à partir de Chrome sont des outils qui n'est pas seulement HTML générées dynamiquement, vous aurez besoin d'un moyen d'accrocher en Chrome lui-même. Pas moyen de contourner cela.

    Je vous remercie beaucoup. Il a fonctionné parfaitement, sauf que j'ai ajouté l'emplacement de phantomjs.exe dans la deuxième ligne comme ce pilote = webdriver.PhantomJS(executable_path=phantomjs_path)

    OriginalL'auteur Jason S

  2. 1

    Inspecter l'élément montre tout le HTML de la page qui est la même que l'extraction de l'html à l'aide de urllib

    faire quelque chose comme ceci

    import urllib
from bs4 import BeautifulSoup as BS

html = urllib.urlopen(URL).read()

soup = BS(html)

print soup.findAll(tag_name).get_text()

    OriginalL'auteur Serial

  3. 1

    Je voudrais mettre à jour la réponse de Jason S. je n'ai pas pu démarrer phantomjs sur OS X

    driver = webdriver.PhantomJS()
Traceback (most recent call last):
  File "<stdin>", line 1, in <module>
  File     "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/selenium/webdriver/phantomjs/webdriver.py", line 50, in __init__
self.service.start()
File "/opt/local/Library/Frameworks/Python.framework/Versions/2.7/lib/python2.7/site-packages/selenium/webdriver/phantomjs/service.py", line 74, in start
raise WebDriverException("Unable to start phantomjs with ghostdriver.", e)
selenium.common.exceptions.WebDriverException: Message: Unable to start phantomjs with ghostdriver.

    Résolu en réponse ici en téléchargeant les exécutables 

    driver = webdriver.PhantomJS("phantomjs-2.0.0-macosx/bin/phantomjs")

    OriginalL'auteur Jakub

  4. 0

    BeautifulSoup peut être utilisée pour analyser le document html, et d'en extraire tout ce que vous voulez. Il n'est pas conçu pour le téléchargement. Vous pouvez trouver les éléments que vous voulez par les class et id.

    OriginalL'auteur flyingfoxlee