Comment puis-je bande de caractères XML non valides à partir de chaînes de caractères en Perl?

La regex complète pour l'enlèvement de xml non valide-1.0 caractères est:

# #x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
$str =~ s/[^\x09\x0A\x0D\x20-\x{D7FF}\x{E000}-\x{FFFD}\x{10000}-\x{10FFFF}]//go;

pour xml 1.1 il est:

# allowed: [#x1-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]
$str =~ s/[^\x01-\x{D7FF}\x{E000}-\x{FFFD}\x{10000}-\x{10FFFF}]//go;
# restricted:[#x1-#x8][#xB-#xC][#xE-#x1F][#x7F-#x84][#x86-#x9F]
$str =~    s/[\x01-\x08\x0B-\x0C\x0E-\x1F\x7F-\x84\x86-\x9F]//go;

OriginalL'auteur Heiko

J'ai trouvé une solution, mais il utilise le iconv de commande au lieu de perl.

$ iconv -c -f UTF-8 -t UTF-8 invalid.utf8 > valid.utf8

Les solutions données ci-dessus basé sur expressions régulières ne fonctionnent pas!!, considérons l'exemple suivant:

$ perl -e 'print "<?xml version=\"1.0\" encoding=\"UTF-8\"?>\n<root>\x{A0}\x{A0}</root>"' > invalid.xml
$ perl -e 'use XML::Simple; XMLin("invalid.xml")'
invalid.xml:2: parser error : Input is not proper UTF-8, indicate encoding !
Bytes: 0xA0 0xA0 0x3C 0x2F
$ perl -ne 's/[^\x09\x0A\x0D\x20-\x{D7FF}\x{E000}-\x{FFFD}\x{10000}-\x{10FFFF}]//go; print' invalid.xml > valid.xml
$ perl -e 'use XML::Simple; XMLin("valid.xml")'
invalid.xml:2: parser error : Input is not proper UTF-8, indicate encoding !
Bytes: 0xA0 0xA0 0x3C 0x2F

En fait, les deux fichiers invalid.xml et valid.xml sont identiques.

Le truc, c'est que la gamme "\x20-\x{D7FF}" correspond à valide les représentations de ces caractères unicode, mais pas, par exemple, l'invalide à la séquence de caractères "\x{A0}\x{A0}".

OriginalL'auteur Juan A. Navarro

Si vous utilisez une bibliothèque XML pour construire votre XML (par opposition à la concaténation de chaîne, modèles, etc), alors il devrait prendre soin de cela pour vous. Il est inutile de réinventer la roue.

• XML::LibXML
• XML::Twig
• XML::Smart
• XML::Simple
• etc

OriginalL'auteur Quentin

Vous pouvez utiliser une expression Régulière pour supprimer des caractères de contrôle par exemple \cH correspondra \cL ou \x08 et \x0C match retour arrière et de Saut respectivement.

OriginalL'auteur AnthonyWJones

Je n'ai pas fait beaucoup de travail avec XML contenant "invalide" caractères avant, mais
il me semble que vous avez deux choses complètement distinctes des problèmes ici.

Tout d'abord, il y a des personnages dans vos données que vous ne voulez pas. Vous devez décider ce que ceux qui sont, et comment vous voulez supprimer/remplacer indépendant de toute XML restrictions. Par exemple, vous pouvez avoir des choses comme x^H_y^H_z^H_ où vous décidez que vous voulez bande à la fois l'arrière et le caractère suivant. Ou il est possible que, en fait, vous ne voulez pas régler vos données, mais qui se sentent contraints par la nécessité de représenter en XML.

Mise à jour: j'ai conservé les paragraphes ci-après pour la postérité, mais elles sont fondées sur un malentendu: j'ai pensé que vous pourriez inclure tous les caractères dans les données XML, aussi longtemps que vous avez encodé correctement, mais il semble qu'il y a certains personnages qui sont carrément verboten,
même codé? XML::LibXML ces bandes (au moins la version actuelle), sauf pour le caractère nul, qu'il considère comme la fin de la chaîne, le jeter et tout ce qui suit 🙁

Seconde, vous pouvez avoir les personnages de vos données que vous avez gardé ce besoin de l'encodage en XML. Idéalement, quel que soit module XML vous utilisez voudrais faire cela pour vous, mais si ce n'est pas le cas, vous devriez être en mesure de le faire manuellement, avec quelque chose comme:

use HTML::Entities "encode_entities_numeric";
$encoded_string = encode_entities_numeric( $string, "\x00-\x08\x0B\x0C\x0E-\x19");

Mais c'est vraiment juste un palliatif. Utiliser un module XML; voir, par exemple,cette réponse.

OriginalL'auteur ysth