L'analyse de page web en python à l'aide de Magnifiques Soupe

Le secret de l'utilisation de BeautifulSoup est de trouver des modèles cachés de votre document HTML. Par exemple, votre boucle

for ul in soup.findAll('p') :
    print(ul)

est dans la bonne direction, mais il sera de retour tous les paragraphes, pas seulement ceux que vous cherchez. Les paragraphes que vous cherchez, cependant, ont l'aide de la propriété d'avoir une classe i. À l'intérieur de ces paragraphes, on peut trouver deux plages, l'une avec la classe i et un autre avec la classe vi. Nous sommes chanceux car ces travées contient les données que vous recherchez:

<p class="i">
    <span class="i">Tytuł............................................</span>
    <span class="vi">: La mer à boire</span>
</p>

Donc, de la première à obtenir tous les paragraphes avec la classe donnée:

>>> ps = soup.findAll('p', {'class': 'i'})
>>> ps
[<p class="i"><span class="i">Tytuł... <LOTS OF STUFF> ...pan></p>]

Maintenant, à l'aide de interprétations de la liste, nous pouvons générer une liste de paires, où chaque paire contient la première et la seconde travée de l'alinéa:

>>> spans = [(p.find('span', {'class': 'i'}), p.find('span', {'class': 'vi'})) for p in ps]
>>> spans
[(<span class="i">Tyt... ...</span>, <span class="vi">: La mer à boire</span>), 
 (<span class="i">Ocena... ...</span>, <span class="vi">: IMDB - 6.3/10 (24)</span>),
 (<span class="i">Produkcja.. ...</span>, <span class="vi">: Francja</span>),
 # and so on
]

Maintenant que nous avons les travées, nous pouvons obtenir les textes à partir de:

>>> texts = [(span_i.text, span_vi.text) for span_i, span_vi in spans]
>>> texts
[(u'Tytu\u0142............................................', u': La mer \xe0 boire'),
 (u'Ocena.............................................', u': IMDB - 6.3/10 (24)'),
 (u'Produkcja.........................................', u': Francja'), 
  # and so on
]

Ces textes ne sont pas ok encore, mais il est facile de les corriger. Pour supprimer les points de la première, nous pouvons utiliser rstrip():

>>> u'Produkcja.........................................'.rstrip('.')
u'Produkcja'

La : chaîne peut être enlevé avec lstrip():

>>> u': Francja'.lstrip(': ')
u'Francja'

De l'appliquer à l'ensemble du contenu, nous avons juste besoin d'une compréhension de liste:

>>> result = [(text_i.rstrip('.'), text_vi.replace(': ', '')) for text_i, text_vi in texts]
>>> result
[(u'Tytu\u0142', u'La mer \xe0 boire'),
 (u'Ocena', u'IMDB - 6.3/10 (24)'),
 (u'Produkcja', u'Francja'),
 (u'Gatunek', u'Dramat'),
 (u'Czas trwania', u'98 min.'),
 (u'Premiera', u'22.02.2012 - \u015awiat'),
 (u'Re\u017cyseria', u'Jacques Maillot'),
 (u'Scenariusz', u'Pierre Chosson, Jacques Maillot'),
 (u'Aktorzy', u'Daniel Auteuil, Maud Wyler, Yann Trégouët, Alain Beigel'),
 (u'Wi\u0119cej na', u':'),
 (u'Trailer', u':Obejrzyj zwiastun')]

Et c'est tout. J'espère que cette étape-par-étape de l'exemple peut rendre l'utilisation de BeautifulSoup plus clair pour vous.

OriginalL'auteur brandizzi