PHP: UTF 8 encodage de caractères

Je suis grattant une liste de flux RSS en utilisant cURL, et puis je suis de la lecture et l'analyse des données RSS avec SimpleXML. Le tri des données est ensuite inséré dans une base de données mySQL.

Cependant, comme avis sur http://dansays.co.uk/research/MNA/rss.php je rencontre plusieurs problèmes avec les caractères ne s'affichent pas correctement.

Exemples:

âGuitar Hero: Van Halenâ Trailer And Tracklist Available

NV 10/10/09 – Salt Lake City, UT 10/11/09 – Denver, CO 10/13/09 –

J'ai essayé d'utiliser htmlentities et htmlspecialchars sur les données avant de les insérer dans la base de données, mais il ne semble pas aider à résoudre le problème.

Comment je pourrais résoudre ce problème, je vais avoir?

Merci pour les conseils.

Mis à jour

J'ai essayé ce que Greg a suggéré, et le problème est toujours là...

Voici le code que j'ai utilisé pour faire des NOMS de jeux en PDO:

$dbh = new PDO($dbstring, $username, $password); 

$dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION); 

$dbh->query('SET NAMES "utf8"');

J'ai fait un peu d'écho communique avec le simplexml les données avant de les trier et insérées dans la base de données, et maintenant, je crois que c'est quelque chose à voir avec le cURL...

Voici ce que j'ai pour cURL:

$ch = curl_init($url);

curl_setopt($ch, CURLOPT_RETURNTRANSFER, 0);

curl_setopt($ch, CURLOPT_HEADER, 0);

curl_setopt($ch, CURLOPT_ENCODING, 'UTF-8');

$data = curl_exec($ch);

curl_close($ch);

$doc = new SimpleXmlElement($data, LIBXML_NOCDATA);

Problème Résolu

J'ai dû mettre le contenu du jeu de caractères dans le flux RSS de la page HTML sur "UTF-8" pour résoudre ce problème. Je suppose que ce n'est pas une vraie solution, comme le char problèmes sont toujours là, dans les données brutes. Hâte de bon appui dans PHP6!

Si c'est pas confidentiel, pouvez-vous dire ce que l'url du problème d'alimentation? Curl renvoie uniquement les octets, c'est - à- il est possible que l'alimentation est mal.
Certains des aliments que je remarque que je vais avoir des problèmes avec: télégraphe.co.royaume-uni/culture/musique/flux rss metalhammer.co.royaume-uni/feed feedproxy.google.com/~r/smnnews hangout.altsounds.com/external.php?type=RSS2 je vais jeter un oeil à travers eux, tout comme il y a environ 30 d'entre eux...

OriginalL'auteur Daniel Clark | 2009-08-11

  1. 2

    Comme tous le débogage, vous commencez par isoler le problème:

    Je suis grattant une liste de flux RSS en utilisant cURL, - regarder le xml du flux RSS qui donne le problème (il y a plus d'une alimentation, il est donc possible que certains aliments à droite et pour les aliments qui sont mauvais pour être mauvais de différentes façons)

    et puis je suis de la lecture et l'analyse des données RSS avec SimpleXML. - imprimez le champ SimpleXML lire - est-il ok ou un problème?

    Les données triées est ensuite inséré dans une base de données mySQL. - impression en hexadécimal(champ), la longueur(sur le terrain), et char_length(champ) pour le morceau de données qui donne le problème.

    MODIFIER

    Prendre le nourrir http://hangout.altsounds.com/external.php?type=RSS2 , le mettre dans le validateur http://validator.w3.org/feed/ . Ils sont déclarer leur type de contenu que l'iso-8859-1, mais certains contenus, tels que les guillemets, est dans quelque chose comme cp1252 - par exemple de l'utilisation de l'octet 0x93 pour représenter la gauche de la quote - http://www.fileformat.info/info/unicode/char/201C/charset_support.htm .

    Ce qui est ennuyeux, c'est que ce n'est pas dans certains outils de Firefox semble deviner ce qu'il se passe et de montrer les guillemets correctement, et plus au point, SimpleXML convertit le 0x93 en utf8, il sort comme 0xc293, ce qui aggrave le problème.

    EDIT 2

    Une solution de contournement pour obtenir ce flux à lire un peu plus correctement est de remplacer "ISO-8859-1" par "Windows-1252" avant de passer à XML Simple. Il ne fonctionnera pas à 100% car il s'avère que certaines parties de l'alimentation sont en UTF8.

    De l'approche générale, en supposant que vous ne pouvez pas mettre tout le monde dans le monde pour corriger leur fils, est d'isoler ce que vous avez besoin de solutions de contournement à l'interface avec le système externe qui est en émettant les données malformées, et de passer dans la pure clair utf8 pour le hub de votre système. Enregistrer une copie datée de la crue d'alimentation externe de sorte que vous pouvez vous souvenir à l'avenir pourquoi la solution de contournement a été nécessaire, séparer off et de commenter les lignes de code que de mettre en œuvre la solution de contournement il est donc facile de changer si et quand l'organisation externe corrige son alimentation (ou le casse d'une manière différente), et vérifier de nouveau de temps à autre. Malheureusement, au lieu de programmer un spec-vous êtes à la programmation de l'état actuel d'un bug, donc il n'y a pas de permanente, propre solution - le meilleur que vous pouvez faire est d'isoler, de documenter et de surveiller.

    Je suis la jusqu'au point où le réel problème de codage est venue directement à partir de données xml lui-même comme vous pouvez le voir ici sur quelques-uns des titres récupérés... dansays.co.uk/research/MNA/fetch.raw.php
    Merci pour vos conseils awesome! 🙂

    OriginalL'auteur

  2. 3

    Votre page est servi en tant que UTF-8, donc je veux mon doigt à la base de données.

    Assurez-vous que la connexion est en UTF-8 avant tout Sélectionne ou des empiècements de MySQL:

    SET NAMES "utf8"
    L'OP est la lecture d'un flux rss usinc cURL, rien à voir avec une base de données
    S'il vous plaît re-lecture de la question: "Le tri des données est ensuite inséré dans une base de données mySQL."
    la "utf8_general_ci" a déjà été mis sur les tables de myPHPAdmin.
    Réglage de l'encodage que l'utilisation de tables est une question distincte de l'encodage que vous utilisez pour INTERAGIR avec ces tables. Vous pouvez très facilement passer à MySQL latin1 de données, qui serait le convertir en UTF-8 avant de le ranger. Le SET NAMES utf8 commande Greg recommande dit, "j'ai l'intention de faire toute la communication avec MySQL en UTF-8." Ou, d'une autre façon: "Les données que je vais vous donner, MySQL, est codé en UTF-8 déjà."
    @VoteyDisciple dit, utf8_general_ci est le classement - il affecte la façon dont certains de la chaîne de fonctions & le travail des opérateurs, mais pas le jeu de caractères de la connexion

    OriginalL'auteur Greg

  3. 3

    Juste une note rapide sur CURLOPT_ENCODING : c'est le Accept-Encoding en-tête, ce qui n'est pas du tout la même chose que l'encodage des caractères. Pris en charge accepter les encodages sont "identité", de "dégonfler", et "gzip".

    OriginalL'auteur ianaré

  4. 1

    Il peut avoir à faire avec le prologue XML, qui ressemble à ceci pour vous nourrir liés à:

    <?xml version="1.0" encoding="ISO-8859-1" ?>

    Autant que je sache libxml, sur lequel SimpleXML est fondée, semble pour ce genre de choses. Je ne suis pas sûr de fichiers XML, mais je suis sûr qu'avec les chaînes HTML, il semble pour META éléments de spécifier le jeu de caractères.

    Essayer de décapage le prologue XML (j'ai résolu un problème similaire une fois par décapage HTML META tags) et n'oubliez pas de utf8_encode() les données avant de nourrir SimpleXMLElement.

    Votre aide, assurez-vous ne me pointer dans la bonne direction, mais encore n'a pas effacé tous mes problèmes encore. Merci quand même!

    OriginalL'auteur Ionuț G. Stan