Comment faire pour déterminer l'encodage de texte?

Correctement la détection de l'encodage de tous les temps est impossible.

(À partir de chardet FAQ:)

Toutefois, certains encodages sont optimisés
pour des langues spécifiques, et des langues
ne sont pas aléatoires. Certains de ces caractères
les séquences de pop up tout le temps, tout en
d'autres séquences n'ont pas de sens. Un
personne à l'aise en anglais qui ouvre une
journal et trouve “txzqJv 2!dasd0a
QqdKjvz” sera instantanément reconnaître que
ce n'est pas l'anglais (même si c'est
entièrement composé de lettres anglaises).
Par l'étude de beaucoup de “typique” du texte, un
algorithme d'ordinateur peut simuler cette
type de fluidité et de faire de l'éducation de la
devinez à propos d'un texte de langue.

Il est le chardet bibliothèque qui utilise cette étude pour tenter de détecter l'encodage. chardet est un port de la détection automatique de code de Mozilla.

Vous pouvez également utiliser UnicodeDammit. Il va essayer les méthodes suivantes:

• Un encodage découvert dans le document lui-même: par exemple, dans une déclaration XML, ou (pour les documents HTML) http-equiv balise META. Si Belle Soupe de trouver ce genre de codage dans le document, il analyse le document à nouveau depuis le début et donne le nouveau codage de l'essayer. La seule exception est si vous l'avez explicitement spécifié un encodage, et que l'encodage effectivement travaillées: alors qu'il ignore tout de l'encodage qu'il trouve dans le document.
• Un encodage reniflé en regardant les premiers octets du fichier. Si l'encodage détecté à ce stade, il sera l'un de l'UTF-* encodages, EBCDIC, ou ASCII.
• Un encodage repérée par le chardet bibliothèque, si vous l'avez installé.
• UTF-8
• Windows-1252

Certaines stratégies d'encodage, décommentez goût :

#!/bin/bash
#
tmpfile=$1
echo '-- info about file file ........'
file -i $tmpfile
enca -g $tmpfile
echo 'recoding ........'
#iconv -f iso-8859-2 -t utf-8 back_test.xml > $tmpfile
#enca -x utf-8 $tmpfile
#enca -g $tmpfile
recode CP1250..UTF-8 $tmpfile

Vous pouvez vérifier l'encodage par l'ouverture et lecture du fichier dans un formulaire d'une boucle... mais vous pourriez avoir besoin pour vérifier la taille du fichier d'abord :

encodings = ['utf-8', 'windows-1250', 'windows-1252' ...etc]
            for e in encodings:
                try:
                    fh = codecs.open('file.txt', 'r', encoding=e)
                    fh.readlines()
                    fh.seek(0)
                except UnicodeDecodeError:
                    print('got unicode error with %s , trying different encoding' % e)
                else:
                    print('opening the file with encoding:  %s ' % e)
                    break              

# Function: OpenRead(file)
# A text file can be encoded using:
#   (1) The default operating system code page, Or
#   (2) utf8 with a BOM header
#
#  If a text file is encoded with utf8, and does not have a BOM header,
#  the user can manually add a BOM header to the text file
#  using a text editor such as notepad++, and rerun the python script,
#  otherwise the file is read as a codepage file with the 
#  invalid codepage characters removed
import sys
if int(sys.version[0]) != 3:
print('Aborted: Python 3.x required')
sys.exit(1)
def bomType(file):
"""
returns file encoding string for open() function
EXAMPLE:
bom = bomtype(file)
open(file, encoding=bom, errors='ignore')
"""
f = open(file, 'rb')
b = f.read(4)
f.close()
if (b[0:3] == b'\xef\xbb\xbf'):
return "utf8"
# Python automatically detects endianess if utf-16 bom is present
# write endianess generally determined by endianess of CPU
if ((b[0:2] == b'\xfe\xff') or (b[0:2] == b'\xff\xfe')):
return "utf16"
if ((b[0:5] == b'\xfe\xff\x00\x00') 
or (b[0:5] == b'\x00\x00\xff\xfe')):
return "utf32"
# If BOM is not provided, then assume its the codepage
#     used by your operating system
return "cp1252"
# For the United States its: cp1252
def OpenRead(file):
bom = bomType(file)
return open(file, 'r', encoding=bom, errors='ignore')
#######################
# Testing it
#######################
fout = open("myfile1.txt", "w", encoding="cp1252")
fout.write("* hi there (cp1252)")
fout.close()
fout = open("myfile2.txt", "w", encoding="utf8")
fout.write("\u2022 hi there (utf8)")
fout.close()
# this case is still treated like codepage cp1252
#   (User responsible for making sure that all utf8 files
#   have a BOM header)
fout = open("badboy.txt", "wb")
fout.write(b"hi there.  barf(\x81\x8D\x90\x9D)")
fout.close()
# Read Example file with Bom Detection
fin = OpenRead("myfile1.txt")
L = fin.readline()
print(L)
fin.close()
# Read Example file with Bom Detection
fin = OpenRead("myfile2.txt")
L =fin.readline() 
print(L) #requires QtConsole to view, Cmd.exe is cp1252
fin.close()
# Read CP1252 with a few undefined chars without barfing
fin = OpenRead("badboy.txt")
L =fin.readline() 
print(L)
fin.close()
# Check that bad characters are still in badboy codepage file
fin = open("badboy.txt", "rb")
fin.read(20)
fin.close()

Il est, en principe, impossible de déterminer l'encodage d'un fichier texte, dans le cas général. Donc non, il n'y a pas de norme bibliothèque Python pour le faire pour vous.

Si vous avez des connaissances plus spécifiques sur le fichier texte (par exemple, qu'il est XML), il pourrait y avoir des fonctions de la bibliothèque.

Ce site a code python pour la reconnaissance de l'ascii, l'encodage avec les nomenclatures, et utf8 sans bom: https://unicodebook.readthedocs.io/guess_encoding.html. Lire le fichier dans le tableau d'octets (de données): http://www.codecodex.com/wiki/Read_a_file_into_a_byte_array. Voici un exemple. Je suis dans osx.

#!/usr/bin/python                                                                                                  
import sys
def isUTF8(data):
try:
decoded = data.decode('UTF-8')
except UnicodeDecodeError:
return False
else:
for ch in decoded:
if 0xD800 <= ord(ch) <= 0xDFFF:
return False
return True
def get_bytes_from_file(filename):
return open(filename, "rb").read()
filename = sys.argv[1]
data = get_bytes_from_file(filename)
result = isUTF8(data)
print(result)
PS /Users/js> ./isutf8.py hi.txt                                                                                     
True