Comment faire pour convertir un fichier au format Unicode en ASCII à l'aide de Python?

- Je utiliser un outil 3ème partie qui génère un fichier au format Unicode. Cependant, je préfère que ce soit en ASCII. L'outil n'a pas de paramètres pour modifier le format de fichier.

Quel est le meilleur moyen de convertir la totalité du format de fichier à l'aide de Python?

InformationsquelleAutor Ray Vega | 2008-10-06

44

Vous pouvez convertir le fichier assez facilement en utilisant simplement le unicode fonction, mais vous pourrez rencontrer des problèmes avec les caractères Unicode sans un droit équivalent ASCII.

Ce blog recommande la unicodedata module, qui semble prendre soin d'à peu près la conversion de caractères sans correspondant directe valeurs ASCII, par exemple
```
>>> title = u"Klüft skräms inför på fédéral électoral große"
```
est habituellement converti à
```
Klft skrms infr p fdral lectoral groe
```
qui est assez mauvais. Cependant, l'utilisation de la unicodedata module, le résultat peut être beaucoup plus proche du texte original:
```
>>> import unicodedata
>>> unicodedata.normalize('NFKD', title).encode('ascii','ignore')
'Kluft skrams infor pa federal electoral groe'
```
- Que l'on est assez bonne, sauf (comme indiqué), il manque un peu de personnages. Pour le Latin-1, vous devez spécial Æ, Ð, Ø, Þ, æ, ð, ø, ß, et þ.
- Fredrick Lundh posté sur ce, avec un simple script de construire au-dessus de unicodedata pour le cas spécial de la hanche: effbot.org/zone/unicode-convert.htm
InformationsquelleAutor ConroyP
11

Je pense que c'est un problème plus profond que vous ne le réalisez. Il suffit de changer le fichier à partir de l'Unicode en ASCII est facile, toutefois, obtenir tous les caractères Unicode à se traduire par un ASCII homologues (nombre de lettres qui ne sont pas disponibles dans les deux codages) en est une autre.

Ce Python Unicode tutoriel peut vous donner une meilleure idée de ce qui se passe pour les chaînes Unicode qui sont convertis en ASCII: http://www.reportlab.com/i18n/python_unicode_tutorial.html

Voici un bon devis à partir du site:

Python 1.6 obtient également un "unicode"
fonction intégrée, à laquelle vous pouvez
spécifier l'encodage:
```
> >>> unicode('hello') u'hello'
> >>> unicode('hello', 'ascii') u'hello'
> >>> unicode('hello', 'iso-8859-1') u'hello'
> >>>
```
Ces trois revenir par le même
chose, puisque les personnages dans 'Bonjour'
sont communs à tous les trois codages.

Maintenant, nous allons coder quelque chose avec un
Accent européen, qui est à l'extérieur de
ASCII. Ce que vous voyez dans une console en mai
dépendent de votre système d'exploitation
paramètres régionaux; Windows me permet de taper dans
ISO-Latin-1.
```
> >>> a = unicode('André','latin-1')
> >>> a u'Andr2'
```
Si vous ne pouvez saisir une grave lettre e,
vous pouvez entrer la chaîne de caractères "Andr\202',
qui est sans ambiguïté.

Unicode prend en charge toutes les communes
des opérations telles que l'itération et
le fractionnement. Nous n'allons pas fonctionner sur eux
ici.
- Merci de remarquer les problèmes potentiels. Cependant, je ne cours pas le risque de non-convertibles caractères unicode dans le contenu du fichier de sortie. Il est juste à la sortie du schéma SQL d'une base de données interne et ne contiennent pas de caractères qui sort de l'ordinaire c'est à dire au-delà de l'ASCII.
- Vega: connaissez-vous dès maintenant. C'est une erreur et bug potentiel de supposer que les données unicode n'aurez jamais des caractères ASCII.
InformationsquelleAutor Pete Karl II
3

Par la manière, c'est une commande linux iconv pour faire ce genre de travail.
```
iconv -f utf8 -t ascii <input.txt >output.txt
```
InformationsquelleAutor kev
2

Voici quelques simples (et stupide) code pour faire de l'encodage de la traduction. Je suppose (mais vous ne devriez pas) que le fichier d'entrée est au format UTF-16 (Windows appelle simplement "Unicode").
```
input_codec = 'UTF-16'
output_codec = 'ASCII'

unicode_file = open('filename')
unicode_data = unicode_file.read().decode(input_codec)
ascii_file = open('new filename', 'w')
ascii_file.write(unicode_data.write(unicode_data.encode(output_codec)))
```
Notez que cela ne fonctionne pas si il existe des caractères dans le fichier Unicode qui ne sont pas aussi des caractères ASCII. Vous pouvez effectuer les opérations suivantes pour activer les caractères non reconnus en '?'s:
```
ascii_file.write(unicode_data.write(unicode_data.encode(output_codec, 'replace')))
```
Découvrez les docs de plus simple choix. Si vous avez besoin de faire quelque chose de plus sophistiqué, vous pouvez consulter L'UNICODE Marteau à l'Python Cookbook.

InformationsquelleAutor giltay
2

Comme ceci:
```
uc = open(filename).read().decode('utf8')
ascii = uc.decode('ascii')
```
Noter, cependant, que cela échouer avec un UnicodeDecodeError exception s'il y a des caractères qui ne peuvent pas être convertis au format ASCII.

EDIT: Comme Pete Karl viens de le souligner, il n'y a pas de one-to-one mapping à partir d'Unicode en ASCII. De sorte que certains caractères ne peuvent tout simplement pas être converti en une information de préservation de la sorte. En outre, la norme ASCII est plus ou moins un sous-ensemble de l'UTF-8, donc vous n'avez pas vraiment besoin de faire du décodage.

InformationsquelleAutor Dan Lenski
2

Pour mon problème lorsque je voulais juste ignorer les caractères Non ascii, et juste à la sortie de données ascii de sortie, ci-dessous la solution a très bien fonctionné:
```
    import unicodedata
    input = open(filename).read().decode('UTF-16')
    output = unicodedata.normalize('NFKD', input).encode('ASCII', 'ignore')
```
InformationsquelleAutor Vijay
0

Il est important de noter qu'il n'y a pas de "Unicode" format de fichier. Unicode peuvent être encodés à octets de plusieurs façons différentes. Plus couramment UTF-8 ou UTF-16. Vous aurez besoin de savoir quel est votre outil de la 3e partie est sortie. Une fois que vous savez que la conversion entre les différents encodages est assez facile:
```
in_file = open("myfile.txt", "rb")
out_file = open("mynewfile.txt", "wb")

in_byte_string = in_file.read()
unicode_string = bytestring.decode('UTF-16')
out_byte_string = unicode_string.encode('ASCII')

out_file.write(out_byte_string)
out_file.close()
```
Comme indiqué dans les autres réponses, vous allez probablement vouloir fournir un gestionnaire d'erreur pour la méthode encode. À l'aide de "remplacement" comme le gestionnaire d'erreur est simple, mais mangle votre texte s'il contient des caractères qui ne peuvent pas être représenté en ASCII.

InformationsquelleAutor Jerry Hill
0

Que d'autres affiches ont noté, l'ASCII est un sous-ensemble de la norme unicode.

Toutefois, si vous:
- ont un héritage application
- vous ne contrôlez pas le code de cette application
- vous êtes sûr de votre entrée tombe en ASCII sous-ensemble
Alors l'exemple ci-dessous montre comment le faire:
```
mystring = u'bar'
type(mystring)
    <type 'unicode'>

myasciistring = (mystring.encode('ASCII'))
type(myasciistring)
    <type 'str'>
```
InformationsquelleAutor mikemaccana

Vous devez vous connecter pour publier un commentaire.