Comment détecter le mal formé chaîne utf-8 en PHP?

fonction iconv parfois me donne une erreur:

Notice:
iconv() [function.iconv]:
Detected an incomplete multibyte character in input string in [...]

Est-il un moyen de détecter qu'il y a des caractères illégaux dans les chaînes utf-8 avant de mettre des données à inconv ?

InformationsquelleAutor rsk82 | 2011-07-17
  1. 47

    Tout d'abord, notez qu'il n'est pas possible de détecter si le texte appartient à un indésirable de l'encodage. Vous pouvez uniquement vérifier si une chaîne est valide dans un codage donnée.

    Vous pouvez utiliser de l'UTF-8 contrôle de validité qui est disponible dans preg_match [Manuel PHP] depuis PHP 4.3.5. Il sera de retour 0 (pas d'information supplémentaire) si une chaîne non valide est donné:

    $isUTF8 = preg_match('//u', $string);

    Une autre possibilité est mb_check_encoding [Manuel PHP]:

    $validUTF8 = mb_check_encoding($string, 'UTF-8');

    Une autre fonction que vous pouvez utiliser est mb_detect_encoding [Manuel PHP]:

    $validUTF8 = ! (false === mb_detect_encoding($string, 'UTF-8', true));

    Il est important de définir le strict paramètre true.

    En outre, iconv [Manuel PHP] vous permet de modifier/supprimer les invalides séquences à la volée. (Cependant, si iconv rencontre une telle séquence, il génère une notification; ce comportement ne peut pas être changé). 

    echo 'TRANSLIT : ', iconv("UTF-8", "ISO-8859-1//TRANSLIT", $string), PHP_EOL;
echo 'IGNORE   : ', iconv("UTF-8", "ISO-8859-1//IGNORE", $string), PHP_EOL;

    Vous pouvez utiliser @ et vérifiez la longueur de la chaîne de retour:

    strlen($string) === strlen(@iconv('UTF-8', 'UTF-8//IGNORE', $string));

    Vérifier les exemples sur la iconv page de manuel ainsi.

    Vous n'avez pas partagé le code source où l'avis est issu de l'. Vous devez l'ajouter si vous voulez une suggestion concrète.

    • vous n'avez pas tort, mais il semble que preg_match('!.!u', $str) fait l'affaire - il silencieusement vérifier si str est de l'utf-8 avant de tenter de trouver quoi que ce soit. - ce point dans regexp n'est même pas nécessaire
    • J'ai fait une petite modif pour faire de la preg_match méthode fonctionne correctement sur les cordes à vide ainsi.
    • Merci pour la belle édition.
    • Merci pour la belle de contenu.
    • Bon aperçu de toutes les options! J'ai écrit un micro-benchmark pour voir qui est plus rapide - preg_match() semble être la manière la plus rapide dans l'ensemble (en PHP, 7) à la fois pour valide/invalide et court/long des chaînes de caractères.
    • Super réponse! Il est intéressant de souligner que vous pouvez également vérifier les scripts de l'unicode des caractères appartiennent à, si cette chaîne "Àbcdeឃ" ne correspondra pas celle de /^\p{latine}*$/u, mais correspondra /^[\p{latine}\p{Khmer}]*$/u. Le manuel php répertorie les différents scripts pris en charge.

    InformationsquelleAutor hakre
  2. 0

    Vous pouvez essayer d'utiliser mb_detect_encoding de détecter si vous avez un jeu de caractères différent (que UTF-8) puis mb_convert_encoding pour convertir en UTF-8 si nécessaire. Il est plus probable que les gens sont en vous donnant valide le contenu dans un autre jeu de caractères que de l'UTF-8 non valide.

    • Sachez que valide chaînes ASCII sont également valables chaînes de caractères UTF8. Cela signifie mb_detect_encoding sera de retour "ASCII" pour une chaîne qui est une bonne chaîne UTF8 et qui ne contiennent pas de caractères Unicode
    InformationsquelleAutor Robin
  3. 0

    La spécification sur lequel des caractères non valides dans l'UTF-8 est assez clair. Tu veux peut-être la bande des personnes avant d'essayer de l'analyser. Ils ne devraient pas être là, donc si vous pouviez l'éviter, même avant de générer le XML qui serait encore mieux.

    Voir ici pour une référence:

    http://www.w3.org/TR/xml/#charsets

    Qui n'est pas une liste complète, de nombreux analyseur également interdire certains bas-numéroté les caractères de contrôle, mais je ne peux pas trouver une liste complète maintenant.

    Cependant, iconv pourrait avoir la prise en charge intégrée pour cela:

    http://www.zeitoun.net/articles/clear-invalid-utf8/start

    InformationsquelleAutor jishi
  4. 0

    mettre un @ devant iconv() pour supprimer l'AVIS et l' //IGNORER après UTF-8 dans la source codage de l'id d'ignorer les caractères non valides:

    @iconv( 'UTF-8//IGNORE', $destinationEncoding, $yourString );
    • Je sais comment l'ignorer, je ne sais pas comment le détecter, je ne veux pas le passer en silence vers le bas de mon code.
    • que voulez-vous faire après la détection de l'erreur?
    • btw le preg_match() solution dans l'autre question est très intéressante, j'irais avec ça.
    InformationsquelleAutor nobody