Décoder les entités HTML en Python chaîne?

Je suis d'analyse du code HTML avec une Belle Soupe 3, mais il contient des entités HTML, ce qui est Beau Soupe 3 n'est pas automatiquement le décodage pour moi:

>>> from BeautifulSoup import BeautifulSoup

>>> soup = BeautifulSoup("<p>&pound;682m</p>")
>>> text = soup.find("p").string

>>> print text
&pound;682m

Comment décoder les entités HTML dans text pour obtenir "£682m" au lieu de "&pound;682m".

InformationsquelleAutor jkp | 2010-01-18
  1. 456

    Python 3.4+

    Utilisation html.ne pas encoder():

    import html
print(html.unescape('&pound;682m'))

    FYI html.parser.HTMLParser.unescape est obsolète, et était censé être retiré en 3.5, même s'il a été laissé par erreur. Il sera retiré de la langue bientôt.

    Python 2.6-3.3

    Vous pouvez utiliser HTMLParser.unescape() de la bibliothèque standard:

    >>> try:
...     # Python 2.6-2.7 
...     from HTMLParser import HTMLParser
... except ImportError:
...     # Python 3
...     from html.parser import HTMLParser
... 
>>> h = HTMLParser()
>>> print(h.unescape('&pound;682m'))
£682m

    Vous pouvez également utiliser le six bibliothèque de compatibilité pour simplifier l'importation:

    >>> from six.moves.html_parser import HTMLParser
>>> h = HTMLParser()
>>> print(h.unescape('&pound;682m'))
£682m
    • cette méthode ne semble pas échapper les caractères comme "&#8217;" sur google app engine, bien que cela fonctionne en local sur python2.6. Il ne reste décoder les entités (comme &quot;) au moins
    • Comment les sans-papiers de l'API obsolète? Modifié la réponse.
    • il n'y a aucune raison qu'un sans-papiers, la méthode ne peut pas être obsolète. Ce on jette la dépréciation des avertissements - voir mon edit pour la réponse.
    • Il semblerait plus logique que, plutôt que de simplement le unescape méthode, l'ensemble de la HTMLParser module ont été dépréciée en faveur de html.parser.
    • Intéressant de noter pour Python 2: les caractères Spéciaux sont remplacés par leur Latin-1 (ISO-8859-1) et le codage des homologues. E. g., il peut être nécessaire de h.unescape(s).encode("utf-8"). Les docs: """La définition proposée ici contient toutes les entités définies par XHTML 1.0 qui peuvent être gérées à l'aide de simple substitution textuelle dans le Latin-1 jeu de caractères ISO-8859-1)"""
    InformationsquelleAutor luc
  2. 63

    Belle Soupe poignées entité de conversion. Dans la Belle Soupe 3, vous aurez besoin de spécifier le convertEntities argument de la BeautifulSoup constructeur (voir la 'Entité Conversion" section de la archivé docs). Dans la Belle Soupe de 4, les entités obtenir décodé automatiquement.

    Belle Soupe 3

    >>> from BeautifulSoup import BeautifulSoup
>>> BeautifulSoup("<p>&pound;682m</p>", 
...               convertEntities=BeautifulSoup.HTML_ENTITIES)
<p>£682m</p>

    Belle Soupe 4

    >>> from bs4 import BeautifulSoup
>>> BeautifulSoup("<p>&pound;682m</p>")
<html><body><p>£682m</p></body></html>
    • +1. Aucune idée de comment j'ai raté ce dans les docs: merci pour l'info. Je vais accepter luc réponse tho parce que sa utilise la lib qui je l'ai précisé dans la question (pas important pour moi) et c'est probablement plus généraux à d'autres personnes.
    • BeautifulSoup4 utilise HTMLParser, la plupart du temps. Voir le source
    • Comment pouvons-nous obtenir la conversion de la Belle Soupe 4 sans tous les étrangers HTML qui n'était pas partie de la chaîne d'origine? (c'est à dire <html> et <body>)
    • BeautifulSoup ("&livre;682m', "html.parser") stackoverflow.com/a/14822344/4376342
    InformationsquelleAutor Ben James
  3. 13

    Vous pouvez utiliser replace_entities de w3lib.html bibliothèque

    In [202]: from w3lib.html import replace_entities

In [203]: replace_entities("&pound;682m")
Out[203]: u'\xa3682m'

In [204]: print replace_entities("&pound;682m")
£682m
    InformationsquelleAutor Corvax
  4. 2

    Belle Soupe 4 vous permet de définir un module de formatage de votre sortie

    Si vous passez dans formatter=None, Belle Soupe de ne pas modifier les chaînes de
    à tous sur la production. C'est l'option la plus rapide, mais il peut conduire à des
    Belle Soupe de générer du code HTML non valide/XML, comme dans ces exemples:

    print(soup.prettify(formatter=None))
# <html>
#  <body>
#   <p>
#    Il a dit <<Sacré bleu!>>
#   </p>
#  </body>
# </html>

link_soup = BeautifulSoup('<a href="http://example.com/?foo=val1&bar=val2">A link</a>')
print(link_soup.a.encode(formatter=None))
# <a href="http://example.com/?foo=val1&bar=val2">A link</a>
    • Ceci ne répond pas à la question. (Aussi, je n'ai aucune idée de ce que les docs disent n'est pas valide sur le final peu de HTML ici.)
    • <<Sacré bleu!>> est la partie invalide, comme il l'a sans échappement < et >, et va casser le code html autour d'elle. Je sais que c'est un post de moi, mais au cas où quelqu'un arrive à être à la recherche et je me demandais...
    InformationsquelleAutor LoicUV
  5. -4

    C'est probablement ce qui n'est pas pertinent ici. Mais pour éliminer ces html entités de l'ensemble d'un document, vous pouvez faire quelque chose comme ceci: (à Supposer document = page et veuillez pardonner l'bâclée code, mais si vous avez des idées quant à la façon de la rendre meilleure, Im toutes les oreilles - Im nouveau à cela).

    import re
import HTMLParser

regexp = "&.+?;" 
list_of_html = re.findall(regexp, page) #finds all html entites in page
for e in list_of_html:
    h = HTMLParser.HTMLParser()
    unescaped = h.unescape(e) #finds the unescaped value of the html entity
    page = page.replace(e, unescaped) #replaces html entity with unescaped value
    • Non! Vous n'avez pas besoin de correspondre à des entités HTML vous-même et boucle au-dessus d'eux; .unescape() n'est que pour vous. Je ne comprends pas pourquoi vous et Rob ont posté ces trop compliqué solutions qui roulent leur propre entité de rattachement lors de la accepté de réponse montre clairement que .unescape() pouvez trouver les entités de la chaîne.
    InformationsquelleAutor Neil Aggarwal