PHP: Convertir une chaîne en UTF-8 sans connaître l'original jeu de caractères, ou au moins essayer

Dans la mère-patrie, la Russie, nous avons 4 encodages populaires, de sorte que votre question est en grande demande ici.

Seulement par char codes de symboles vous ne pouvez pas détecter l'encodage, car les pages de code se croisent. Certaines pages de code dans différentes langues ont même intersection complète. Donc, nous avons besoin d'une autre approche.

Le seul moyen de travailler avec des inconnus encodages est de travailler avec des probabilités. Donc, nous ne voulons pas répondre à la question "qu'est-ce que l'encodage de ce texte?", nous essayons de comprendre "ce qui est le plus susceptible d'encodage de ce texte?".

Un gars ici en russe populaire tech blog inventé cette approche:

Construire la probabilité gamme de char codes dans chaque encodage que vous voulez soutenir. Vous pouvez le construire à l'aide de quelques grands textes dans votre langue (par exemple, un peu de fiction, l'utilisation de Shakespeare pour l'anglais et de Tolstoï pour le russe, lol ). Vous obtiendrez qch comme ceci:

    encoding_1:
    190 => 0.095249209893009,
    222 => 0.095249209893009,
    ...
    encoding_2:
    239 => 0.095249209893009,
    207 => 0.095249209893009,
    ...
    encoding_N:
    charcode => probabilty

Suivant. Vous prenez un texte inconnu de codage et pour chaque encodage dans votre "probabilité dictionnaire" de votre recherche pour la fréquence de chaque symbole dans l'inconnu du texte codé. La somme des probabilités des symboles. Encodage avec le plus grand cote est probable que le vainqueur. De meilleurs résultats pour les plus grands textes.

Si vous êtes intéressé, je peux volontiers vous aider dans cette tâche. Nous pouvons grandement améliorer la précision par la construction de deux charcodes probabilty liste.

Btw. mb_detect_encoding certanly ne fonctionne pas. Oui, à tous. S'il vous plaît, jetez un oeil de mb_detect_encoding code source dans "ext/mbstring/libmbfl/mbfl/mbfl_ident.c".

Il n'y a aucun moyen d'identifier le jeu de caractères d'une chaîne qui est tout à fait exact.
Il y a des façons d'essayer de deviner le jeu de caractères. L'un de ces moyens, et probablement/actuellement le meilleur en PHP, est mb_detect_encoding(). Cela va scanner votre chaîne et de rechercher les occurrences de choses uniques à certains jeux de caractères. En fonction de votre chaîne, il y a peut-être pas à distinguer les occurrences.

Prendre l'ISO-8859-1 jeu de caractères vs ISO-8859-15 ( http://en.wikipedia.org/wiki/ISO/IEC_8859-15#Changes_from_ISO-8859-1 )

Il n'y a qu'une poignée de personnages différents, et pour empirer les choses, ils sont représentés par le même octets. Il n'y a aucun moyen de le détecter, étant donné une chaîne de caractères, sans le savoir, l'encodage, si octet 0xA4 est censé signifier ¤ € ou dans votre chaîne, donc il n'y a aucun moyen de savoir c'est exact charset.

(Remarque: vous pouvez ajouter un facteur humain, ou encore plus avancé de la technique de balayage (par exemple, ce qui Oroboros102 l'indique), pour essayer de comprendre basée sur le contexte environnant, si le caractère doit être ¤ € ou, si cela semble comme un pont trop loin)

Il y a plus à distinguer les différences entre par exemple UTF-8 et ISO-8859-1, c'est donc toujours la peine d'essayer de comprendre quand vous n'êtes pas sûr, si vous pouvez et ne devez jamais compter sur elle est correcte.

Lecture intéressante: http://kore-nordmann.de/blog/php_charset_encoding_FAQ.html#how-do-i-determine-the-charset-encoding-of-a-string

Il y a d'autres façons d'assurer le bon charset bien. Concernant les formes, essayez de faire respecter l'UTF-8 comme beaucoup que possible (consultez le bonhomme de neige à assurez-vous que votre présentation doit être en UTF-8 dans chaque navigateur: http://intertwingly.net/blog/2010/07/29/Rails-and-Snowmen )
Cela étant fait, au moins vous pouvez être sûr que chaque texte soumis par le biais de vos formulaires est utf_8. Concernant les fichiers téléchargés, essayez d'exécuter la unix "fichier -i' commande, par exemple par exec() (si possible sur votre serveur) à l'aide de la détection (en utilisant le document de la NOMENCLATURE.)
Concernant le raclage de données, vous pouvez lire les en-têtes HTTP, qui, généralement, spécifier le jeu de caractères. Lors de l'analyse des fichiers XML, voir si le XML meta-données contiennent un jeu de caractères définition.

Plutôt que d'essayer de deviner automatiquement le jeu de caractères, vous devez d'abord essayer de s'assurer une certaine charset vous-même, si possible, ou en essayant d'attraper une définition de la source que vous êtes obtenir à partir (le cas échéant) avant de recourir à la détection.

Le principal problème pour moi est que je ne sais pas ce que le codage de la source de n'importe quelle chaîne va être - c'est peut-être à partir d'une zone de texte (à l'aide n'est utile que si l'utilisateur est soumis le formulaire), ou il pourrait être téléchargés à partir d'un fichier texte, donc je n'ai pas vraiment de contrôle sur l'entrée.

Je ne pense pas que c'est un problème. Une application connaît la source de l'entrée. Si c'est à partir d'un formulaire, utiliser l'encodage UTF-8 dans votre cas. Qui fonctionne. Suffit de vérifier les données fournies est codé correctement (validation). Gardez à l'esprit que toutes les bases de données de support de l'UTF-8 dans sa gamme complète.

Si c'est un fichier que vous n'aurez pas l'enregistrer en UTF-8 dans la base de données, mais sous forme binaire. Lors de la sortie de nouveau le fichier, utiliser la sortie binaire ainsi, alors ceci est totalement transparent.

Votre idée est sympa qu'un utilisateur peut déterminer le codage, qu'il/elle peut dire de toute façon après avoir téléchargé le fichier, que c'est du binaire.

Donc je dois avouer que je ne vois pas un problème spécifique, vous relancez avec votre question. Mais peut-être que vous pouvez ajouter un peu plus de détails ce qu'est ton problème.

Si vous êtes prêt à "prendre la console", je vous recommande enca. Contrairement à la plutôt simpliste mb_detect_encoding, il utilise un mélange d'analyse syntaxique, analyse statistique, de deviner et de la magie noire afin de déterminer leur encodage" (lol - voir page de man). Cependant, vous avez généralement à passer la langue de fichier d'entrée si vous voulez détecter de tels spécifiques au pays des codages. (Cependant, mb_detect_encoding essentiellement a la même exigence, comme l'encodage devrait apparaître "au bon endroit" dans la liste de codages pour qu'il soit détectable à tous.)

enca aussi est venu ici: Comment trouver l'encodage d'un fichier sous Unix via le script(s)

public function convertToUtf8($text) {
    if(!$this->html)
        $this->html = cURL('http://'.$this->url, array('timeout' => 15));

    $html = $this->html;
    preg_match('/<meta.*?charset=(|\")(.*?)("|\")/i', $html, $matches);

    $charset = $matches[2];

    if($charset)
        return mb_convert_encoding($text, 'UTF-8', $charset);
    else
        return $text;
}

cURL options par défaut:

curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);

J'ai essayé quelque chose comme ça. Il m'a aidé. Si trouvé sur meta charset info, je suis à la conversion, sinon ne rien faire.