UnicodeDecodeError en Python lors de la lecture d'un fichier, comment ignorer l'erreur et passer à la ligne suivante?

Je dois lire un fichier texte en Python. L'encodage du fichier est:

file -bi test.csv 
text/plain; charset=us-ascii

C'est un fichier tiers, et d'en obtenir une nouvelle chaque jour, donc, je préfère ne pas la changer. Le fichier a les caractères non ascii, tels que", par exemple. J'ai besoin de lire les lignes à l'aide de python, et je peut se permettre d'ignorer une ligne qui a un caractère non-ascii.

Mon problème est que quand j'ai lu le fichier en Python, j'ai le UnicodeDecodeError lorsque vous atteignez la ligne d'où un caractère non-ascii existe, et je ne peut pas lire le reste du fichier.

Est-il un moyen d'éviter cela. Si j'essaye ceci:

fileHandle = codecs.open("test.csv", encoding='utf-8');
try:
    for line in companiesFile:
        print(line, end="");
except UnicodeDecodeError:
    pass;

puis, quand l'erreur est atteint pour la boucle se termine et je ne peut pas lire le reste du fichier. J'ai envie de sauter de la ligne qui provoque l'erreur et aller sur. Je préfère ne pas faire, de toute modification du fichier d'entrée, si possible.

Est-il possible de faire cela?
Je vous remercie beaucoup.

source d'informationauteur Chicoscience

28

Votre fichier n'apparaît pas à utiliser l'encodage UTF-8. Il est important d'utiliser le bon codec lors de l'ouverture d'un fichier.

Vous peut dire open() comment traiter les erreurs de décodage, avec la errors mot-clé:
erreurs est une chaîne facultative qui spécifie la façon dont l'encodage et le décodage des erreurs doivent être traitées–ce ne peut pas être utilisé en mode binaire. Une grande variété de gestionnaires d'erreur sont disponibles, mais toute erreur de manipulation nom qui a été enregistré avec codecs.register_error() est également valide. La norme noms sont:
- 'strict' pour élever un ValueError exception s'il y a une erreur de codage. La valeur par défaut de None a le même effet.
- 'ignore' ignore les erreurs. Notez que le fait d'ignorer les erreurs de codage peuvent conduire à la perte de données.
- 'replace' provoque un marqueur de remplacement (comme le '?') pour être inséré à l'endroit où il y a des données malformées.
- 'surrogateescape' représentera toute erreur d'octets que les points de code dans l'Unicode à l'Usage Privé de la Zone allant de U+DC80 à U+DCFF. Ces points de code seront ensuite transformés en la même octets lors de la surrogateescape gestionnaire d'erreurs est utilisé lors de l'écriture de données. C'est utile pour le traitement des fichiers inconnu encodage.
- 'xmlcharrefreplace' est uniquement pris en charge lors de l'écriture dans un fichier. Caractères non pris en charge par l'encodage sont remplacés par les XML approprié référence de caractère &#nnn;.
- 'backslashreplace' (également pris en charge uniquement lors de l'écriture) remplace les caractères non pris en charge avec Python backslashed séquences d'échappement.
De l'ouverture du fichier avec 'ignore' ou 'replace' permet de lire le fichier sans exceptions soulevées.

Vous devez vous connecter pour publier un commentaire.