PHP: Convertir la sortie curl_exec en UTF8

Je voudrais travailler uniquement avec l'UTF8. Le problème est que je ne sais pas le jeu de caractères de chaque page. Comment puis-je le détecter et de le convertir en UTF8?

<?php
$url = "http://vkontakte.ru";
$ch = curl_init($url);
$options = array(
    CURLOPT_RETURNTRANSFER => true,
);
curl_setopt_array($ch, $options);
$data = curl_exec($ch);

//$data = magic($data);

print $data;

Voir ce à: http://paulisageek.com/tmp/curl-utf8

Qu'est-ce que magic()?

source d'informationauteur Paul Tarjan

  1. 24

    En passant par Gumbo et Pekka les conseils, j'ai écrit curl_exec_utf8

    /** The same as curl_exec except tries its best to convert the output to utf8 **/
function curl_exec_utf8($ch) {
$data = curl_exec($ch);
if (!is_string($data)) return $data;
unset($charset);
$content_type = curl_getinfo($ch, CURLINFO_CONTENT_TYPE);
/* 1: HTTP Content-Type: header */
preg_match( '@([\w/+]+)(;\s*charset=(\S+))?@i', $content_type, $matches );
if ( isset( $matches[3] ) )
$charset = $matches[3];
/* 2: <meta> element in the page */
if (!isset($charset)) {
preg_match( '@<meta\s+http-equiv="Content-Type"\s+content="([\w/]+)(;\s*charset=([^\s"]+))?@i', $data, $matches );
if ( isset( $matches[3] ) ) {
$charset = $matches[3];
/* In case we want do do further processing downstream: */
$data = preg_replace('@(<meta\s+http-equiv="Content-Type"\s+content="[\w/]+\s*;\s*charset=)([^\s"]+)@i', '$1utf-8', $data, 1);
}
}
/* 3: <xml> element in the page */
if (!isset($charset)) {
preg_match( '@<\?xml.+encoding="([^\s"]+)@si', $data, $matches );
if ( isset( $matches[1] ) ) {
$charset = $matches[1];
/* In case we want do do further processing downstream: */
$data = preg_replace('@(<\?xml.+encoding=")([^\s"]+)@si', '$1utf-8', $data, 1);
}
}
/* 4: PHP's heuristic detection */
if (!isset($charset)) {
$encoding = mb_detect_encoding($data);
if ($encoding)
$charset = $encoding;
}
/* 5: Default for HTML */
if (!isset($charset)) {
if (strstr($content_type, "text/html") === 0)
$charset = "ISO 8859-1";
}
/* Convert it if it is anything but UTF-8 */
/* You can change "UTF-8"  to "UTF-8//IGNORE" to 
ignore conversion errors and still output something reasonable */
if (isset($charset) && strtoupper($charset) != "UTF-8")
$data = iconv($charset, 'UTF-8', $data);
return $data;
}

    Les regexes sont pour la plupart de http://nadeausoftware.com/articles/2007/06/php_tip_how_get_web_page_content_type

  2. 4

    La conversion est facile. La détection est la partie la plus difficile. Vous pouvez essayer de mb_detect_encoding mais qui est très fragile méthode, c'est littéralement de "deviner" le type de contenu et que @troelskn faits saillants dans les commentaires, on peut deviner "bruts" des différences au mieux (Est-ce un encodage multi-octet?) mais ne parvient pas à détecter les nuances de similaires jeux de caractères.

    La bonne façon serait de l'OMI:

    • Interprétation de toute content-type balises Meta dans la page
    • Interprétation de toute content-type en-têtes envoyés par le serveur
    • Si ça donne rien, essayez de "renifler" l'encodage à l'aide d'mb_detect_encoding()
    • Si ça donne rien, revenir à un définies par défaut (peut-être en ISO-8859-1, peut-être en UTF-8).

    Différents que décrite dans les directives de la @Gumbo réponse, personnellement, je pense que les balises Meta doivent avoir la priorité sur les serveur les en-têtes de parce que je suis assez sûr que, si une balise Meta est présent, qui est un indicateur plus fiable de l'encodage de la page qu'un serveur à la définition de certains opérateurs du site ne savons même pas comment changer. La manière correcte, cependant, semble être à traiter-têtes content-type avec une priorité plus élevée.

    Pour les anciens, je pense que vous pouvez utiliser get_meta_tags(). Ce dernier vous devriez l'obtenir à partir d'curl déjà, vous devez l'analyser. Ici est un exemple complet sur la façon de systématiquement processus en-têtes de réponse servi par cURL.

    La conversion serait alors à l'aide de iconv:

    $new_content = iconv("incoming-charset", "utf-8", $content);
  3. 1

    J'ai été très heureux de trouver cette réponse, mais il a remarqué il y a un défaut dans le <meta> balise de détection. Il n'a tout simplement semblent pas correspondre à tout type de contenu des balises, et il n'est pas encore équipé pour le nouveau HTML5 style tags: <meta charset="UTF-8">. Alors j'ai écrit ça, j'espère qu'elle vous aide à vous les gars, et merci encore pour cette excellente solution!

    /* 2: <meta> element in the page */
if (!isset($charset)) {
preg_match('/<[\s]*meta[^>]*charset="?([^\s"]+)\s?"/i', $data, $matches);
if (isset($matches[1])) {
$charset = $matches[1];
}
}

    (P. S. je ne pouvais pas comprendre comment le poste comme un commentaire, comme il n'est évidemment pas une réponse complète.)

  4. 0

    Vous pouvez essayer et utiliser quelque chose comme:

    http://www.php.net/manual/en/function.mb-detect-encoding.php

    http://www.php.net/manual/en/function.mb-convert-encoding.php

    Bien que ce n'est pas indéréglable.

  5. 0

    Il y a un ordre défini comment spécifier le codage des caractères en HTML:

    [...] conforme, les agents utilisateurs doivent respecter les priorités suivantes lors de la détermination d'un document à l'encodage des caractères (de la priorité la plus élevée à la plus basse):

    1. HTTP "charset" paramètre "Type de Contenu".
    2. Un META déclaration "http-equiv" set "Content-Type" et une valeur définie pour "charset".
    3. La charset attribut défini sur un élément qui désigne une ressource externe.

    Si pas de caractère de déclaration de codage est présent, HTTP définit le jeu de caractères ISO 8859-1 comme codage de caractères par défaut. Vous pouvez soit l'utiliser comme codage de caractères par défaut pour le code HTML de trop ou tout simplement refuser de traiter la réponse.

    Pour XHTML, vous en outre avoir les Déclaration XML comme source pour l'encodage:

    Dans un document XML, l'encodage de caractères du document est indiquée sur la déclaration XML (par exemple, <?xml version="1.0" encoding="EUC-JP"?>). Afin de portably présenter des documents spécifiques avec des encodages de caractères, la meilleure approche est de s'assurer que le serveur web fournit la bonne en-têtes. Si ce n'est pas possible, un document qui veut mettre son encodage de caractères explicitement doit inclure à la fois le XML de la déclaration la déclaration de codage et un meta http-equiv déclaration (par exemple, <meta http-equiv="Content-type" content="text/html; charset=EUC-JP" />). En XHTML conforme agents d'utilisateur, la valeur de la déclaration de codage de la déclaration XML est prioritaire.

    Si pas de caractère de déclaration de codage, XML définit UTF-8 et UTF-16 dans le codage de caractères par défaut:

    À moins d'un codage est déterminé par un protocole de niveau supérieur, c'est aussi une erreur fatale si une entité XML ne contient pas de déclaration de codage et de son contenu n'est pas légal UTF-8 ou UTF-16.

    Donc, pour résumer, la commande est:

    1. HTTP "charset" paramètre "Type de Contenu".
    2. Déclaration XML avec encoding attribut.
    3. Un META déclaration "http-equiv" set "Content-Type" et une valeur définie pour "charset".

    Si pas de caractère de déclaration de codage est présent, on peut supposer que la norme ISO 8859-1 comme encodage par défaut pour le code HTML et doit assumer UTF-8 ou UTF-16 comme encodage par défaut pour le XHTML.