Analyse de XML brisé avec lxml.etree.iterparse

Edit:

Ceci est une ancienne réponse et je l'aurais fait différemment aujourd'hui. Et je ne parle pas seulement de la muette snark ... depuis BeutifulSoup4 est disponible et il est vraiment très gentil. Je recommande à toute personne qui trébuche sur ici.

---

Actuellement accepté réponse est, bien, pas ce que l'on devrait faire.
La question elle-même a également une mauvaise hypothèse:

parser = lxml.programme etree.Parseur xml(récupération=True) #récupère de mauvais caractères.

Fait recover=True est pour la récupération des de les XML. Cependant, il existe une "codage" option qui aurait résolu votre problème.

parser = lxml.etree.XMLParser(encoding='utf-8' #Your encoding issue.
recover=True, #I assume you probably still want to recover from bad xml, it's quite nice. If not, remove.
)

C'est ça, c'est la solution.

---

BTW -- Pour quiconque est aux prises avec l'analyse de XML en python, en particulier à partir de sources tierces. Je sais, je sais, la documentation est mauvais et il y a beaucoup de fausses pistes; beaucoup de mauvais conseils.

• lxml.programme etree.fromstring()? - C'est parfaitement formé XML, idiot
• BeautifulStoneSoup? - Lent, et a une façon stupide de la politique pour l'auto
  les balises de fermeture
• lxml.programme etree.HTMLParser()? - (parce que le xml est cassé)
  Voici un secret - HTMLParser() est... un Analyseur à le récupérer=True
• lxml.html.soupparser? - Le codage de détection est censé être meilleur, mais il a les mêmes défauts de BeautifulSoup pour la fermeture automatique des balises. Peut-être vous pouvez combiner parseur xml avec BeautifulSoup de UnicodeDammit
• UnicodeDammit et d'autres cockamamie des trucs à corriger les codages? - Eh bien, UnicodeDammit est le genre de mignon, j'aime bien le nom et il est utile pour des choses au-delà de xml, mais les choses sont généralement fixes si vous faites la bonne chose avec le parseur xml()

Vous pourriez être en train d'essayer toutes sortes de choses à partir de ce qui est disponible en ligne. lxml documentation pourrait être mieux. Le code ci-dessus est ce que vous avez besoin pour 90% de votre analyse XML cas. Ici, je vais vous le déclare:

magical_parser = XMLParser(encoding='utf-8', recover=True)
tree = etree.parse(StringIO(your_xml_string), magical_parser) #or pass in an open file object

Vous êtes les bienvenus. Mes maux de tête == votre santé mentale. Plus il a d'autres caractéristiques que vous pourriez avoir besoin pour, vous savez, XML.

De modifier une question, en indiquant ce qui se passe (message d'erreur exact et traceback (copier/coller, ne tapez pas de mémoire)) pour vous faire croire que les "mauvaises unicode" est le problème.

Obtenir chardet et nourrir votre dump MySQL. Dites-nous ce qu'il dit.

Nous montrer la première de 200 à 300 octets de votre dump, par exemple à l'aide print repr(dump[:300])

Mise à jour Vous avez écrit """Comme vous pouvez le voir, chardet pense que c'est un fichier ascii, mais il y a un "\x1e au catalogue" droit au milieu de cet exemple, qui rend de lxml lever une exception."""

Je ne vois pas de "mauvais unicode" ici.

chardet est correct. Ce qui vous fait penser que "\x1e au catalogue" n'est pas en ASCII? C'est un caractère ASCII, un C0 contrôle personnage nommé "le SÉPARATEUR d'ENREGISTREMENT".

Le message d'erreur indique que vous avez un caractère non valide. C'est également correcte. Les seuls caractères de contrôle qui sont valides dans le XML sont "\t""\r" et "\n". MySQL doit être grogne à ce sujet et/ou de vous offrir un moyen de s'en échapper, par exemple _x001e_ (beurk!)

Étant donné le contexte, il semble que ce personnage pourrait être supprimé sans perte de qualité. Vous pouvez fixer votre base de données ou vous pouvez supprimer les autres personnages de votre dump (après avoir vérifié qu'ils sont tous vanishable) ou vous pouvez choisir un moins difficile et moins volumnious format de sortie que XML.

Mise à jour 2 Vous voulez sans doute à l'utilisateur iterparse() pas parce que c'est votre but final, mais parce que vous voulez économiser de la mémoire. Si vous avez utilisé un format CSV, vous n'auriez pas un problème de mémoire.

Mise à jour 3 En réponse à un commentaire de @Purrell:

essayer vous-même, mec. pastie.org/3280965

Voici le contenu de la pastie; il mérite de conservation:

from lxml.etree import etree
data = '\t<articletext>&lt;p&gt;The cafeteria rang with excited voices.  Our barbershop quartet, The Bell \r Tones was asked to perform at the local Home for the Blind in the next town.  We, of course, were glad to entertain such a worthy group and immediately agreed .  One wag joked, "Which uniform should we wear?"  followed with, "Oh, that\'s right, they\'ll never notice."  The others didn\'t respond to this, in fact, one said that we should wear the nicest outfit we had.&lt;/p&gt;&lt;p&gt;A small stage was set up for us and a pretty decent P.A. system was donated for the occasion.  The audience was made up of blind persons of every age, from the thirties to the nineties.  Some sported sighted companions or nurses who stood or sat by their side, sharing the moment equally.  I observed several German shepherds lying at their feet, adoration showing in their eyes as they wondered what was going on.  After a short introduction in which we identified ourselves, stating our voice part and a little about our livelihood, we began our program.  Some songs were completely familiar and others, called "Oh, yeah" songs, only the chorus came to mind.  We didn\'t mind at all that some sang along \x1e they enjoyed it so much.&lt;/p&gt;&lt;p&gt;In fact, a popular part of our program is when the audience gets to sing some of the old favorites.  The harmony parts were quite evident as they tried their voices to the different parts.  I think there was more group singing in the old days than there is now, but to blind people, sound and music is more important.   We received a big hand at the finale and were made to promise to return the following year.  Everyone was treated to coffee and cake, our quartet going around to the different circles of friends to sing a favorite song up close and personal.  As we approached a new group, one blind lady amazed me by turning to me saying, "You\'re the baritone, aren\'t you?"  Previously no one had ever been able to tell which singer sang which part but this lady was listening with her whole heart.&lt;/p&gt;&lt;p&gt;Retired portrait photographer.  Main hobby - quartet singing.&lt;/p&gt;</articletext>\n'
magical_parser = etree.XMLParser(encoding='utf-8', recover=True)
tree = etree.parse(StringIO(data), magical_parser)

Pour le faire fonctionner, l'un d'importation doit être corrigé, et un autre fourni. Les données sont monstrueux. Il n'y a pas de sortie pour afficher le résultat. Voici un remplacement avec les données de couper vers le bas pour l'essentiel. Les 5 morceaux de texte ASCII (à l'exclusion des < et >) qui sont tous les caractères XML valides sont remplacés par t1..., t5. La délinquance \x1e est flanquée par t2 et t3.

[output wraps at column 80]
Python 2.7.2 (default, Jun 12 2011, 15:08:59) [MSC v.1500 32 bit (Intel)] on win
32
Type "help", "copyright", "credits" or "license" for more information.
>>> from lxml import etree
>>> from cStringIO import StringIO
>>> data = '<article>&lt;p&gt;t1&lt;/p&gt;&lt;p&gt;t2\x1et3&lt;/p&gt;&lt;p&gt;t4
&lt;/p&gt;&lt;p&gt;t5&lt;/p&gt;</article>'
>>> magical_parser = etree.XMLParser(encoding='utf-8', recover=True)
>>> tree = etree.parse(StringIO(data), magical_parser)
>>> print(repr(tree.getroot().text))
'<p>t1</p><p>t2t3/ppt4/ppt5/p'

Pas ce que je qualifierais de "récupération"; après les mauvais caractère, le < et > personnages disparaissent.

La pastie était en réponse à ma question "Ce qui vous donne l'idée que encoding='utf-8' va résoudre son problème?". Cela a été déclenchée par l'énoncé " Il n'y a cependant un "codage" de l'option qui aurait résolu votre problème." Mais encoding=ascii produit le même résultat. Donc, n'omettant le codage arg. Ce n'est PAS un problème d'encodage. L'affaire est close.