Convertir ANSI (Windows 1252) pour de l'utf-8 en C#

VCF est encodé en utf-8, comme exigé par le spec dans le chapitre 3.4. Vous avez besoin de prendre cela au sérieux, le format serait tout à fait inutile, si ce n'est pas coulé dans le béton. Si vous constatez qu'un Android app amputation des caractères accentués ensuite travailler à partir de l'hypothèse que c'est un bug dans l'application. Ou, plus probablement, qu'il a obtenu de mauvais info d'ailleurs. Votre tentative de correction de l'encodage serait alors la cause plus problèmes parce que votre version de la carte ne sera jamais correspondre à l'original.

Vous convertir à partir de 1252 à l'utf-8 avec le Codage.GetEncoding(1252).GetString(), en passant dans un byte[]. Ne jamais essayer d'écrire du code qui lit une chaîne de caractères et tappe dans un byte[] de sorte que vous pouvez utiliser la méthode de conversion, qui fait juste des problèmes d'encodage d'un beaucoup pire. En d'autres termes, vous avez besoin de lire le fichier avec FileStream, pas StreamReader. Mais encore une fois, éviter la fixation des problèmes des autres.

OriginalL'auteur Hans Passant

C'est ce que j'utilise en C# (je l'ai utilisé pour convertir de Windows-1252 à UTF8)

    public static String readFileAsUtf8(string fileName)
    {
        Encoding encoding = Encoding.Default;
        String original = String.Empty;

        using (StreamReader sr = new StreamReader(fileName, Encoding.Default))
        {
            original = sr.ReadToEnd();
            encoding = sr.CurrentEncoding;
            sr.Close();
        }

        if (encoding == Encoding.UTF8)
            return original;

        byte[] encBytes = encoding.GetBytes(original);
        byte[] utf8Bytes = Encoding.Convert(encoding, Encoding.UTF8, encBytes);
        return Encoding.UTF8.GetString(utf8Bytes);
    }

OriginalL'auteur djunod

J'ai trouvé cette question tout en travaillant pour traiter une grande collection d'anciens fichiers texte bien formaté en format Pdf. Aucun des fichiers ont une NOMENCLATURE, et la plus ancienne des fichiers qui contiennent la page de Codes 1252 du code de points que provoquer des erreurs de décodage de l'UTF8. Cela n'arrive que de temps en temps, UTF8 travaille la majorité du temps. Aussi, la dernière en date des données de texte NE contiennent UTF8 points de code, donc c'est un sac mélangé.

Donc, j'ai également mis hors "pour détecter l'encodage du fichier d'entrée a" et après la lecture de Comment détecter l'encodage d'un fichier texte? et Comment faire pour déterminer l'encodage de texte? est arrivé à la conclusion que ce serait difficile, au mieux.

MAIS, j'ai trouvé Le Minimum Absolu que Tout Développeur Doit Absolument, Positivement Savoir Sur Unicode et les Jeux de Caractères dans les commentaires, à le lire, et j'ai trouvé ce bijou:

UTF-8 a l'effet de bord très net que le texte anglais est exactement le même en UTF-8, comme elle l'a fait en ASCII, donc, les Américains ne l'a même pas remarqué quelque chose de mal. Seulement le reste du monde doit sauter à travers des cerceaux. Plus précisément, Bonjour, qui était U+0048 U+0065 U+006C U+006C U+006F, seront stockées sous forme de 48 65 6C 6C 6F, qui, en voici! est le même qu'il était stocké en ASCII et ANSI, et chaque jeu de caractères OEM sur la planète.

L'intégralité de l'article est court et bien la peine de le lire.

Donc, j'ai résolu mon problème avec le code suivant. Puisque seule une petite quantité de mon texte contient des données caractère difficile des points de code, je n'ai pas l'esprit de la surcharge de performance de la gestion des exceptions, surtout que ce n'avait qu'à exécuter une seule fois. Peut-être il y a de plus intelligent des moyens d'éviter la try/catch mais je n'ai pas de peine à concevoir.

    public static string ReadAllTextFromFile(string file)
    {
        const int WindowsCodepage1252 = 1252;

        string text;

        try
        {
            var utf8Encoding = Encoding.UTF8;
            utf8Encoding.DecoderFallback = DecoderFallback.ExceptionFallback;

            text = File.ReadAllText(file, utf8Encoding);
        }
        catch (DecoderFallbackException dfe)//then text is not entirely valid UTF8, contains Codepage 1252 characters that can't be correctly decoded to UTF8
        {
            var codepage1252Encoding = Encoding.GetEncoding(WindowsCodepage1252, EncoderFallback.ExceptionFallback, DecoderFallback.ExceptionFallback);
            text = File.ReadAllText(file, codepage1252Encoding);
        }

        return text;
    }

Il est également intéressant de noter que le StreamReader classe a des constructeurs qui prennent un Codage spécifique de l'objet, et comme je l'ai montré, vous pouvez ajuster la EncoderFallback/DecoderFallback comportement en fonction de vos besoins. Donc, si vous avez besoin d'un StreamReader ou StreamWriter pour plus fine de travail, cette approche peut encore être utilisé.

OriginalL'auteur MJB