Le meilleur moyen de convertir des fichiers de texte entre les jeux de caractères?

Quelle est la manière la plus rapide et la plus simple méthode ou outil pour convertir des fichiers texte entre les jeux de caractères?

Plus précisément, j'ai besoin de les convertir en UTF-8 en ISO-8859-15 et vice versa.

Tout va: one-liners dans votre langage de script favori, outils de ligne de commande ou d'autres utilitaires de système d'exploitation, sites web, etc.

Meilleures solutions à ce jour:

Sur UNIX/Linux/OS X/cygwin:

  • Gnu iconv suggéré par Troels Arvin est mieux utilisé comme un filtre. Il semble être universellement disponibles. Exemple:

    $ iconv -f UTF-8 -t ISO-8859-15 in.txt > out.txt

    Comme l'a souligné Ben, il y a un convertisseur en ligne à l'aide de iconv.

  • Gnu recode (manuel) proposé par Cheekysoft va convertir un ou plusieurs fichiers à la place. Exemple:

    $ recode UTF8..ISO-8859-15 in.txt

    Celui-ci utilise la plus courte alias:

    $ recode utf8..l9 in.txt

    Recode prend également en charge surfaces qui peut être utilisé pour convertir entre les différents caractères de fin de ligne et types de codages:

    Convertir les sauts de ligne de LF (Unix) pour CR-LF (DOS):

    $ recode ../CR-LF in.txt

    Base64 encode fichier:

    $ recode ../Base64 in.txt

    Vous pouvez également les combiner.

    Convertir un encodées en Base64 UTF8 fichier avec des fins de ligne Unix en Base64 Latin 1 fichier avec le Dos de fins de ligne:

    $ recode utf8/Base64..l1/CR-LF/Base64 file.txt

Sur Windows avec Powershell (Jay Bazuzi):

  • PS C:\> gc -en utf8 in.txt | Out-File -en ascii out.txt

    (Pas de ISO-8859-15 soutien; il dit qu'pris en charge les jeux de caractères unicode, utf7, utf8, utf32, ascii, bigendianunicode, par défaut, et oem.)

Modifier

Voulez-vous dire iso-8859-1? À l'aide de "Chaîne" est-ce par exemple pour les vice versa

gc -en string in.txt | Out-File -en utf8 out.txt

Remarque: Le possible des valeurs d'énumération sont "Inconnus", Chaîne de caractères, Unicode, Byte, BigEndianUnicode, UTF8, UTF7, Ascii".

  • J'ai essayé gc -en Ascii readme.html | Out-File -en UTF8 readme.html mais il convertit le fichier en utf-8 mais il est vide! Notepad++ dit que le fichier est au format Ansi, mais la lecture de ce que je comprends c'est même pas valide charset?? uk.answers.yahoo.com/question/index?qid=20100927014115AAiRExF
  • Il suffit de venir à travers cette recherche d'une réponse à une question connexe - excellent résumé! Juste pensé qu'il était utile d'ajouter que recode va agir comme un filtre si vous ne passez pas tout les noms de fichiers, par exemple: recode utf8..l9 < in.txt > out.txt
  • iconv.com/iconv.htm semble être mort pour moi? (timeout)
  • Si vous utilisez enca, vous n'avez pas besoin de spécifier l'encodage en entrée. Il est souvent assez juste de spécifier la langue: enca -L ru -x utf8 FILE.TXT.
  • En fait, iconv beaucoup mieux fonctionné comme un convertisseur au lieu d'un filtre. La conversion d'un fichier avec plus de 2 millions de lignes à l'aide de iconv -f UTF-32 -t UTF-8 input.csv > output.csv enregistré seulement environ sept cent mille lignes, seul un tiers. À l'aide de la version iconv -f UTF-32 -t UTF-8 file.csv converti avec succès toutes les 2 millions, plus de lignes.
  • "codage ISO-8859-1" ne fonctionne pas pour moi, son "ISO8859-1"... si vous voulez voir al encodigns disposition pour transformer, il suffit de taper dans la console iconv -l... merci pour l'aide
  • find httpdocs -type f -exec recode ISO-8859-15..UTF8 {} \; et vous prie de ne pas avoir de problèmes avec les images.
  • Merci beaucoup pour le résumé. Beaucoup mieux que les réponses à mon humble avis.
  • iconv reconnaît 8859_1, ISO-8859-1, ISO8859-1, UTF88591, ISO_8859-1 (de même pour d'autres codages de caractères ISO 8859). Vérifié avec iconv 2.27 (Ubuntu)

InformationsquelleAutor |
  1. 224

    Utilitaire autonome approche

    iconv -f ISO-8859-1 -t UTF-8 in.txt > out.txt
    -f ENCODING  the encoding of the input
-t ENCODING  the encoding of the output

    Vous n'avez pas à spécifier l'une de ces arguments. Ils seront par défaut de vos paramètres régionaux en cours, qui est généralement de l'UTF-8.

    • Pour quelqu'un d'autre qui se fait fauché par la non-dash versions étant pas disponible, il ressemble OSX (et éventuellement tous BSD) versions de iconv ne prennent pas en charge les non-dash des alias pour les différents UTF-* encodages. iconv -l | grep UTF vous dira tout de l'UTF-liées encodages que votre copie de iconv prend en charge.
    • Ne sais pas l'encodage de votre fichier d'entrée? Utilisation chardet in.txt pour générer une meilleure estimation. Le résultat peut être utilisé comme un système d'ENCODAGE iconv -f ENCODING.
    • Empêcher la sortie des caractères non valides (en évitant les illegal input sequence at position messages), et de remplacer "bizarre", les caractères avec "similaires" des personnages: iconv -c -f UTF-8 -t ISO-8859-1//TRANSLIT in.txt > out.txt.
    • J'aime cela parce que c'est standard sur la plupart des NIX plates-formes. Mais aussi consultez les commandes de VIM option (alias: ex) ci-dessous. Informations supplémentaires: (1) vous (probablement) n'avez pas besoin de spécifier le -f (à partir de) option avec iconv. (2) le file --mime-encoding <file/s> commande peut vous aider à comprendre le codage en premier lieu.
    • FWIW la file commande signalé ma source que de l'UTF-16 Little Endian; l'exécution d' iconv -f UTF-16 -t UTF-8... transformé de façon incorrecte à l'ASCII, j'ai dû le spécifier explicitement iconv -f UTF-16LE... à la sortie de l'UTF-8
    InformationsquelleAutor Troels Arvin
  2. 80

    Essayez VIM

    Si vous avez vim vous pouvez utiliser ceci:

    Pas testé pour chaque encodage.

    La partie la plus cool à ce sujet est que vous n'avez pas à connaître la source de l'encodage

    vim +"set nobomb | set fenc=utf8 | x" filename.txt

    Être conscient que cette commande modifier directement le fichier

    Explication de la partie!

    1. + : Utilisé par vim pour entrer directement la commande au moment de l'ouverture d'un fichier. Généralement utilisé pour ouvrir un fichier à une ligne spécifique: vim +14 file.txt
    2. | : Séparateur de plusieurs commandes (comme ; en bash)
    3. set nobomb : non utf-8 BOM
    4. set fenc=utf8 : Établir de nouvelles codage utf-8 doc lien
    5. x : Enregistrer et fermer le fichier
    6. filename.txt : chemin d'accès au fichier
    7. " : qotes sont ici à cause de tuyaux. (sinon bash s'en bash pipe)
    • Assez cool, mais un peu lent. Est-il un moyen de changer cela pour convertir plusieurs fichiers à la fois (donc économie sur vim d'initialisation de coûts)?
    • merci, ce travail pour moi 🙂
    • Merci pour l'explication! J'ai eu un moment difficile avec des début du fichier jusqu'à ce que j'ai lu à propos de la bombe/nobomb réglage.
    • np, de plus, vous pouvez consulter la nomenclature, si vous utilisez vim -b ou head file.txt|cat -e
    • Ne devrait pas votre commande, utiliser fenc=utf-8 avec le tiret?
    • par exemple: find -regextype posix-extended -type f -regex ".*\.(h|cpp|rc|fx|cs|props|xaml)" -exec vim +'set nobomb | set fenc=utf8 | x' {} \;
    • Je l'utilise pour convertir l'encodage de fichiers CSV et était très excité quand j'ai vu le jeu de caractères a en effet changé. Malheureusement, quand je suis allé pour charger le fichier dans MySQL, il avait un nombre différent de colonnes que de ce qu'il avait précédemment avant d'exécuter les commandes de vim. Me demande si il serait possible de simplement ouvrir le fichier, convertir l'encodage, et de les enregistrer/fermer le fichier, tout en laissant tous les autres fichiers de contenu identique?
    • Cela a fonctionné pour moi, merci!

    InformationsquelleAutor
  3. 36

    Sous Linux, vous pouvez utiliser le très puissant recode de commande pour convertir entre les différents jeux de caractères ainsi que toutes les questions de fin de ligne. recode -l vous montrera tous les formats et les codages que l'outil peut convertir entre. Il est susceptible d'être une TRÈS longue liste.

    InformationsquelleAutor Cheekysoft
  4. 20

    iconv(1)

    iconv -f FROM-ENCODING -t TO-ENCODING file.txt

    Aussi il y a iconv-en fonction des outils dans de nombreuses langues.

    InformationsquelleAutor Daniel Papasian
  5. 19
    Get-Content -Encoding UTF8 FILE-UTF8.TXT | Out-File -Encoding UTF7 FILE-UTF7.TXT

    La version la plus courte, si vous pouvez supposer que l'entrée de la NOMENCLATURE est correct:

    gc FILE.TXT | Out-File -en utf7 file-utf7.txt
    • Voici une version plus courte qui fonctionne mieux. gc .\file-utf8.txt | sc -en utf7 .\file-utf7.txt
    • Comment Set-Content fonctionnent mieux que Out-File?
    • ...oh. Je pense qu'ils ont presque la même chose. J'avais de la difficulté de l'exécution de votre exemple parce que j'étais en supposant que les deux versions ont été en utilisant le même file-utf8.txt fichier d'entrée, car ils avaient tous les deux le même fichier de sortie comme file-utf7.txt.
    • Ce serait vraiment génial, sauf qu'il ne prend pas en charge UTF16. Il prend en charge UTF32, mais pas UTF16! Je n'aurais pas besoin de convertir des fichiers, sauf que beaucoup de logiciels Microsoft (f.e. SQL server bcp) insiste sur UTF16 - et puis, leur utilité ne sera pas converti à elle. Intéressant pour dire le moins.
    • J'ai essayé gc -en Ascii readme.html | Out-File -en UTF8 readme.html mais il convertit le fichier en utf-8 mais il est vide! Notepad++ dit que le fichier est au format Ansi, mais la lecture de ce que je comprends c'est même pas valide charset?? uk.answers.yahoo.com/question/index?qid=20100927014115AAiRExF
    • Je ne pense pas que vous pouvez éditer un fichier en place comme ça. Essayez d'enregistrer le contenu d'un fichier temporaire première

    InformationsquelleAutor Jay Bazuzi
  6. 16

    Essayer iconv Bash fonction

    Je l'ai mis dans .bashrc:

    utf8()
{
    iconv -f ISO-8859-1 -t UTF-8 $1 > $1.tmp
    rm $1
    mv $1.tmp $1
}

    ..pour être en mesure de convertir les fichiers comme suit:

    utf8 MyClass.java
    • il est préférable de style à utiliser tmp=$(mktmp) pour créer un fichier temporaire. Aussi, la ligne de rm est redondante.
    • pouvez-vous remplir cette fonction avec détection automatique du format d'entrée?
    • attention, cette fonction supprime le fichier d'entrée sans vérifier que la fonction iconv appel a réussi.
    InformationsquelleAutor
  7. 13

    Essayer De Notepad++

    Sur Windows, j'ai pu utiliser Notepad++ pour faire la conversion de ISO-8859-1 à UTF-8. Cliquez sur "Encoding" et puis "Convert to UTF-8".

    InformationsquelleAutor
  8. 10

    Oneliner l'aide de la recherche, avec le jeu de caractères de détection

    L'encodage des caractères de tous les fichiers texte obtient automatiquement détecté et tous les fichiers texte sont convertis à utf-8 encodage:

    $ find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -bi "$1" |sed -e "s/.*[ ]charset=//") -t utf-8 -o converted "$1" && mv converted "$1"' -- {} \;

    Pour effectuer ces étapes, un sous-shell sh est utilisé avec -exec, l'exécution d'un one-liner avec le -c drapeau, et en passant le nom de fichier de position argument "$1" avec -- {}. Entre les deux, le utf-8 fichier de sortie est temporairement nommé converted.

    Lequel fichier -bi signifie:

    • -b, --brief
      Ne pas préfixer les noms de fichiers pour les lignes de sortie (brève mode).

    • -i, --mime
      Les Causes de la commande de fichier de sortie type mime chaînes de caractères plutôt que les plus traditionnels, lisible par les autres. Ainsi, il peut dire par exemple text/plain; charset=us-ascii plutôt que ASCII text. Le sed commande coupe à seulement us-ascii comme il est requis par iconv.

    La find de commande est très utile pour le fichier de gestion de l'automatisation.
    Cliquez ici pour plus de trouver à gogo.

    • J'ai dû m'adapter cette solution un peu à travailler sur Mac OS X, au moins à ma version. find . -type f -iname *.txt -exec sh -c 'iconv -f $(file -b --mime-encoding "$1" | awk "{print toupper(\$0)}") -t UTF-8 > converted "$1" && mv converted "$1"' -- {} \;
    • Votre code a travaillé sur Windows 7 avec MinGW-w64 (dernière version) trop. Merci pour le partage!
    • Le sed de commande est-il sur le but, permettant la détection automatique de l'encodage des caractères. J'ai élargi la réponse à expliquer maintenant. Il serait courtois en ce qui concerne le lectorat de supprimer tous les autres commentaires non pertinents. Je vous remercie.
    • Peut-être que je n'ai pas été assez clair. Mon point est que lorsque vous utilisez le "fichier -b --mime-encoding" au lieu de "fichier -bi" il n'y a pas besoin de filtrer le résultat avec le sed. Cette commande renvoie déjà l'encodage du fichier uniquement. Donc dans votre exemple "us-ascii"
    InformationsquelleAutor
  9. 3

    PHP iconv()

    iconv("UTF-8", "ISO-8859-15", $input);

    • Cette instruction fonctionne très bien lors de la conversion de chaînes de caractères, mais pas pour les fichiers.
    InformationsquelleAutor user15096
  10. 2

    DOS/Windows: utilisez Code de la page

    chcp 65001>NUL
type ascii.txt > unicode.txt

    Commande chcp peut être utilisé pour modifier la page de code. Code de la page 65001 Microsoft, qui est le nom de l'UTF-8. Après le paramétrage de la page de code, la sortie générée par les commandes suivantes seront de code de page.

    InformationsquelleAutor
  11. 1

    pour écrire un fichier de propriétés (Java) normalement, j'utilise sous linux (mint et ubuntu distributions):

    $ native2ascii filename.properties

    Par exemple:

    $ cat test.properties 
first=Execução número um
second=Execução número dois

$ native2ascii test.properties 
first=Execu\u00e7\u00e3o n\u00famero um
second=Execu\u00e7\u00e3o n\u00famero dois

    PS: j'ai écrits d'Exécution numéro un/deux en portugais à la force des caractères spéciaux.

    Dans mon cas, lors de la première exécution, j'ai reçu ce message:

    $ native2ascii teste.txt 
The program 'native2ascii' can be found in the following packages:
 * gcj-5-jdk
 * openjdk-8-jdk-headless
 * gcj-4.8-jdk
 * gcj-4.9-jdk
Try: sudo apt install <selected package>

    Lorsque j'ai installé la première option (gcj-5-jdk) le problème était fini.

    J'espère que cela aide quelqu'un.

    InformationsquelleAutor
  12. 0

    Avec ruby:

    ruby -e "File.write('output.txt', File.read('input.txt').encode('UTF-8', 'binary', invalid: :replace, undef: :replace, replace: ''))"

    Source: https://robots.thoughtbot.com/fight-back-utf-8-invalid-byte-sequences

    InformationsquelleAutor
  13. 0

    Utiliser ce script Python: https://github.com/goerz/convert_encoding.py
    Fonctionne sur n'importe quelle plate-forme. Nécessite Python 2.7.

    InformationsquelleAutor
  14. 0

    Mon outil de prédilection pour ce qui est Jedit (java éditeur de texte) qui a deux fonctions pratiques :

    • Celui qui permet à l'utilisateur de recharger un texte avec un codage différent (et, comme telle, au contrôle visuellement le résultat)
    • Un autre qui permet à l'utilisateur de choisir explicitement l'encodage (et à la fin de la ligne de char) avant d'enregistrer
    InformationsquelleAutor
  15. 0

    Simplement changer l'encodage du fichier chargé dans IntelliJ IDEA IDE, sur la droite de la barre d'état (en bas), où les jeux de caractères est indiqué. Il invite à Recharger ou de les Convertir, utiliser Convertir. Assurez-vous que vous avez sauvegardé fichier d'origine à l'avance.

    InformationsquelleAutor
  16. -1

    Comme décrit sur Comment puis-je corriger l'encodage d'un fichier? Synalyze Il! permet de convertir facilement sur OS X entre tous les encodages supportés par le ICU bibliothèque.

    En outre, vous pouvez afficher certains des octets d'un fichier traduit en Unicode à partir de tous les codages de voir rapidement qui est le droit pour votre fichier.

    InformationsquelleAutor