Python convertir html en texte et imiter mise en forme

Je suis en train d'apprendre BeautifulSoup, et a trouvé de nombreux "html2text" des solutions, mais celui que je suis à la recherche d'doivent imiter la mise en forme:

<ul>
<li>One</li>
<li>Two</li>
</ul>

Deviendrait

* One
* Two

et

Some text
<blockquote>
More magnificent text here
</blockquote>
Final text

à

Some text

    More magnificent text here

Final text

Je suis en train de lire la doc, mais je ne vois pas quelque chose de simple. Toute aide? Je suis ouvert à l'aide de quelque chose d'autre que beautifulsoup.

Vous voulez quelque chose qui va tourner balises html comme format markdown?

OriginalL'auteur Mikhail | 2013-03-25

  1. 11

    Prendre un coup d'oeil à Aaron Swartz est html2text script (peut être installé avec pip install html2text). Notez que la sortie est valide Markdown. Si, pour une raison qui n'a pas l'adapter entièrement à vous, certains trivial tweaks devrait vous obtenez la sortie exacte à votre question:

    In [1]: import html2text

In [2]: h1 = """<ul>
   ...: <li>One</li>
   ...: <li>Two</li>
   ...: </ul>"""

In [3]: print html2text.html2text(h1)
  * One
  * Two

In [4]: h2 = """<p>Some text
   ...: <blockquote>
   ...: More magnificent text here
   ...: </blockquote>
   ...: Final text</p>"""

In [5]: print html2text.html2text(h2)
Some text

> More magnificent text here

Final text
    Les exemples sur son propre site, ne regardez pas convivial du tout, compte tenu des images, des liens, et en particulier les liens commençant par /. Peut-être que j'ai besoin d'une meilleure compréhension de Markdown, mais pouvez-vous donner un exemple de l'suggéré tweak? ou serait-ce être codé en dur dans le html2text fonction?
    Pas sûr que j'ai suivi -- comment voulez-vous les liens, les images à être manipulés?
    Disons que les images à être ignorées, et des liens pour être en format text (link) Son site est down en ce moment, donc je ne peux pas vous donner plus de détails.

    OriginalL'auteur root

  2. 5

    J'ai le code pour une tâche simple: Supprimer les balises HTML, et d'insérer des retours à la ligne, à des endroits appropriés. Peut-être que cela peut être un point de départ pour vous.

    Python textwrap module pourrait être utile pour la création de retrait des blocs de texte.

    http://docs.python.org/2/library/textwrap.html

    class HtmlTool(object):
"""
Algorithms to process HTML.
"""
#Regular expressions to recognize different parts of HTML. 
#Internal style sheets or JavaScript 
script_sheet = re.compile(r"<(script|style).*?>.*?(</\1>)", 
re.IGNORECASE | re.DOTALL)
#HTML comments - can contain ">"
comment = re.compile(r"<!--(.*?)-->", re.DOTALL) 
#HTML tags: <any-text>
tag = re.compile(r"<.*?>", re.DOTALL)
#Consecutive whitespace characters
nwhites = re.compile(r"[\s]+")
#<p>, <div>, <br> tags and associated closing tags
p_div = re.compile(r"</?(p|div|br).*?>", 
re.IGNORECASE | re.DOTALL)
#Consecutive whitespace, but no newlines
nspace = re.compile("[^\S\n]+", re.UNICODE)
#At least two consecutive newlines
n2ret = re.compile("\n\n+")
#A return followed by a space
retspace = re.compile("(\n )")
#For converting HTML entities to unicode
html_parser = HTMLParser.HTMLParser()
@staticmethod
def to_nice_text(html):
"""Remove all HTML tags, but produce a nicely formatted text."""
if html is None:
return u""
text = unicode(html)
text = HtmlTool.script_sheet.sub("", text)
text = HtmlTool.comment.sub("", text)
text = HtmlTool.nwhites.sub(" ", text)
text = HtmlTool.p_div.sub("\n", text) #convert <p>, <div>, <br> to "\n"
text = HtmlTool.tag.sub("", text)     #remove all tags
text = HtmlTool.html_parser.unescape(text)
#Get whitespace right
text = HtmlTool.nspace.sub(" ", text)
text = HtmlTool.retspace.sub("\n", text)
text = HtmlTool.n2ret.sub("\n\n", text)
text = text.strip()
return text

    Il peut être superflu regexes gauche dans le code.

    OriginalL'auteur Eike

  3. 3

    Python intégré dans le html.analyseur (HTMLParser dans les versions antérieures) module peut être facilement étendu pour créer un simple traducteur que vous pouvez adapter à vos besoins exacts. Il vous permet de crochet dans certains événements que l'analyseur se nourrit à travers le HTML.

    En raison de sa nature simple, vous ne pouvez pas naviguer dans le code HTML de l'arbre que vous pouvez avec une Belle Soupe (par exemple, une sœur, un enfant, un parent nœuds, etc), mais pour un cas simple comme la vôtre, il devrait être suffisant.

    html.analyseur de page d'accueil

    Dans votre cas vous pouvez l'utiliser comme ceci en ajoutant la mise en forme appropriées à chaque fois qu'une balise de début ou de fin de balise de type spécifique est rencontrés :

    from html.parser import HTMLParser
from os import linesep
class MyHTMLParser(HTMLParser):
def __init__(self):
HTMLParser.__init__(self, strict=False)
def feed(self, in_html):
self.output = ""
super(MyHTMLParser, self).feed(in_html)
return self.output
def handle_data(self, data):
self.output += data.strip()
def handle_starttag(self, tag, attrs):
if tag == 'li':
self.output += linesep + '* '
elif tag == 'blockquote' :
self.output += linesep + linesep + '\t'
def handle_endtag(self, tag):
if tag == 'blockquote':
self.output += linesep + linesep
parser = MyHTMLParser()
content = "<ul><li>One</li><li>Two</li></ul>"
print(linesep + "Example 1:")
print(parser.feed(content))
content = "Some text<blockquote>More magnificent text here</blockquote>Final text"
print(linesep + "Example 2:")
print(parser.feed(content))

    OriginalL'auteur samaspin