Comment convertir un tableau HTML en tableau en python

J'ai un document html, et je veux tirer les tableaux de ce document et de les restituer sous la forme de tableaux. Je nous vois 2 fonctions, une qui trouve toutes les tables html dans un document, et une deuxième qui se transforme des tableaux html en 2-dimensions des tableaux.

Quelque chose comme ceci:

htmltables = get_tables(htmldocument)
for table in htmltables:
    array=make_array(table)

Il y a 2 captures:
1. Le nombre de tables varie au jour le jour
2. Les tables ont toutes sortes de bizarre supplémentaires de mise en forme, comme le gras et le clignotement des balises, au hasard jeté dans.

Merci!

source d'informationauteur Zach | 2010-05-20

  1. 1

    Les Pandas pouvez extraire toutes les tables dans votre code html à une liste de dataframes droit sorti de la boîte, ce qui évite d'avoir à analyser la page vous-même (de réinventer la roue). Un DataFrame est un puissant type de tableau en 2 dimensions.

    Je recommande de continuer à travailler avec les données via des Pandas car c'est un outil formidable, mais vous pouvez aussi les convertir vers d'autres formats si vous préférez (liste, dictionnaire, fichier csv, etc.).

    Exemple

    """Extract all tables from an html file, printing and saving each to csv file."""

import pandas as pd

df_list = pd.read_html('my_file.html')

for i, df in enumerate(df_list):
    print df
    df.to_csv('table {}.csv'.format(i))

    Obtenir le contenu html directement depuis le web au lieu de partir d'un fichier n'aurait besoin que d'une légère modification:

    import requests

html = requests.get('my_url').content
df_list = pd.read_html(html)
  2. 18

    Utilisation BeautifulSoup (je recommande 3.0.8). Trouver toutes les tables est trivial:

    import BeautifulSoup

def get_tables(htmldoc):
    soup = BeautifulSoup.BeautifulSoup(htmldoc)
    return soup.findAll('table')

    Cependant, en Python, un tableau est de dimension 1 et contraint à assez élémentaire types d'éléments (des entiers, des flotteurs, des que élémentaire). Donc, il n'y a pas moyen de tirer un tableau HTML dans un Python array.

    Peut-être vous voulez dire un Python list à la place? C'est aussi de dimension 1, mais tout peut être un élément, vous pouvez donc avoir une liste de listes (une sous-liste par tr tag, j'imagine, contenant un article par td tag).

    Qui donnerait:

    def makelist(table):
  result = []
  allrows = table.findAll('tr')
  for row in allrows:
    result.append([])
    allcols = row.findAll('td')
    for col in allcols:
      thestrings = [unicode(s) for s in col.findAll(text=True)]
      thetext = ''.join(thestrings)
      result[-1].append(thetext)
  return result

    Cela peut ne pas encore être tout à fait ce que vous voulez (ne sautez pas de commentaires HTML, les éléments de la sous-listes sont des chaînes unicode et pas de chaînes d'octets, etc), mais il devrait être facile à régler.

  3. 1

    Un +1 pour la question-le demandeur et une autre pour le dieu de Python.

    Voulais essayer cet exemple à l'aide de lxml et sélecteurs CSS.

    Oui, c'est essentiellement le même que Alex exemple:

    import lxml.html
markup = lxml.html.fromstring('''<html><body>\
<table width="600">
    <tr>
        <td width="50%">0,0,0</td>
        <td width="50%">0,0,1</td>
    </tr>
    <tr>
        <td>0,1,0</td>
        <td>0,1,1</td>
    </tr>
</table>
<table>
    <tr>
        <td>1,0,0</td>
        <td>1,<blink>0,</blink>1</td>
        <td>1,0,2</td>
        <td><bold>1</bold>,0,3</td>
    </tr>
</table>
</body></html>''')

tbl = []
rows = markup.cssselect("tr")
for row in rows:
  tbl.append(list())
  for td in row.cssselect("td"):
    tbl[-1].append(unicode(td.text_content()))

pprint(tbl)
#[[u'0,0,0', u'0,0,1'],
# [u'0,1,0', u'0,1,1'],
# [u'1,0,0', u'1,0,1', u'1,0,2', u'1,0,3']]