Comment puis-je traiter les données afin d'éviter MySQL incorrecte “chaîne de valeur” de l'erreur?

Je suis en train d'utiliser un Râteau de la tâche de procéder à la migration des données existantes à partir de MS Access vers MySQL. Je travaille sur Windows XP, à l'aide de Ruby 1.8.6.

J'ai l'encodage pour les Rails de définir comme "utf8" dans database.yml.

Aussi, le jeu de caractères par défaut pour MySQL est utf8.

99% des données sont à venir dans les beaux, mais chaque maintenant et puis je vais obtenir une valeur de la colonne qui me donne une erreur à quelque chose comme ceci:

Mysql::Error: Incorrect string value: '\x92 Comm...' for column 'name' 
  at row 1: 
  INSERT INTO `organizations` ( [...] ) 
  VALUES('Lawyers’ Committee', [...] )

Il semble que la chose qui donne MySQL difficulté est l'apostrophe immédiatement après le "s" dans le mot "Avocats".

Voici une autre...

Mysql::Error: Incorrect string value: '\x99 aoc' for column 'department' 
  at row 1: 
  INSERT INTO `addresses` 
[...]
  'TRInfo™ aoc'
[....]

Dirait que c'est d'étouffement sur les "TM" après "TRInfo".

Est-il de toute Ruby ou Rails méthode que je peux courir les données grâce à purifier de tout les personnages que MySQL va s'étouffer?

Idéalement, il serait bien de les remplacer par le goût des caractères -- remplacer l'apostrophe avec un seul devis et le symbole TM avec la chaîne "(TM)".

Ou, si j'arrivais à configurer MySQL pour stocker ces personnages est sans erreurs qui serait trop grand.

OriginalL'auteur Ethan | 2009-06-04

  1. 6

    Il semble que vos données d'entrée n'est pas en utf-8.

    J'ai fait une petite enquête et le style de citation utilisée dans de l'Avocat est codée sous la forme \x92 dans le Windows-1252 codage, mais serait un non sens pour l'utf-8 (quand j'ai décodé et encodé en utf8, j'ai eu \xe2\x80\x99).

    Ainsi, vous aurez besoin de convertir les chaînes de caractères à partir de windows-1252 utf-8 (unicode).

    Cette solution ne permet pas de répondre à l'OP question "Est-il une méthode..."

    OriginalL'auteur Kathy Van Stone

  2. 1

    J'ai eu le même problème lors de la mise contenu de codé en UTF-16 fichiers - qui généralement stocker un caractère par bloc de 16 bits - dans les tables mysql avec java. Le problème était que la codé en UTF-16 chaîne contenue dite les paires de substitution. Cela signifie deux fois de suite 16bit UTF-16 blocs de coder un caractère spécial, mais ne peut être traduite en un correspondant de l'encodage UTF-8 individuellement. Voir wikipédia pour de plus amples explications.

    La solution était tout simplement de remplacer ces caractères par des espaces. C'est la gamme de caractères que vous pourriez vouloir dépouiller de votre chaîne: U+D800–U+DFFF

    OriginalL'auteur lex82

  3. 1

    En général, cela se produit lorsque vous insérez des chaînes de colonnes incompatible avec l'encodage/classement.

    J'ai eu cette erreur quand j'ai eu des Déclencheurs, qui héritent de classement du serveur pour une raison quelconque.
    Et mysql par défaut est (au moins sur Ubuntu) latin-1 avec les suédois de classement.
    Même si j'ai eu de la base de données et toutes les tables de jeu en UTF-8, je n'avais encore jamais mis les my.cnf:

    /etc/mysql/my.cnf :

    [mysqld]
character-set-server=utf8
default-character-set=utf8

    Et ce doit établir la liste de tous les déclencheurs avec l'utf8-*:

    select TRIGGER_SCHEMA, TRIGGER_NAME, CHARACTER_SET_CLIENT, COLLATION_CONNECTION, DATABASE_COLLATION from information_schema.TRIGGERS

    Et certaines des variables énumérées par ce devrait également avoir utf-8-* (pas le latin-1 ou un autre encodage):

    show variables like 'char%';

    OriginalL'auteur Ondra Žižka

  4. 0

    Il ressemble à votre ancienne base de données est dans un format de chaîne de caractères (utf-8?) et les rails s'attend à quelque chose d'autre. Si vous avez entrée est en utf8, avez-vous essayé la configuration de vos rails de le soutenir?

    Merci, tout est mis en utf8.

    OriginalL'auteur Todd Gardner

  5. 0
    J'ai rencontré le même problème aujourd'hui. 
Après avoir essayé plusieurs fois, j'ai trouvé la raison et de la fixer à la dernière. 
Pour les applications qui stockent des données à l'aide de la valeur par défaut de MySQL jeu de caractères et collation (latin1, latin1_swedish_ci), si vous avez besoin de spécifier le jeu de caractères et collation vers l'utf8/utf8_general_ci lors de votre créer votre base de données ou une table. 
par exemple: 
$sql = "CREATE TABLE" . $nom_table . "( 
id mediumint(9) not NULL AUTO_INCREMENT, 
bookname varchar(128) not NULL, 
auteur varchar(64) not NULL, 
PRIMARY KEY (id), 
CLÉ (bookname) 
)CHARACTER SET utf8 COLLATE utf8_general_ci;"; 

Référence: 
《mysql créer la table de problème? RÉSOLU!!!!!!!!!!!》 
http://forums.mysql.com/read.php?121,193883,193883 
《10.1.5. La configuration du Jeu de Caractères et Collation pour les Applications》 
http://dev.mysql.com/doc/refman/5.0/en/charset-applications.html 

En espérant que cela peut vous aider.

    OriginalL'auteur Zhifeng Hu

  6. 0

    Ajoutant binaire avant de la weirdcolumn résout le problème.

    Dans mon cas, j'ai un déclencheur de mise à jour sur le tableA pour insérer des données dans une autre table.
    Il y a des caractères spéciaux dans la colonne weirdcolumn, et la mise à jour a échoué avec le message: "ERREUR 1366 (HY000): Pas de chaîne de valeur: '\xE7....'"

    Après je creuse dans un lot, j'ai trouvé la solution en ajoutant binaire avant de la chaîne de nom de colonne, ou à l'aide de plâtre(weirdcolumn comme binaire);

    Espère que cela peut vous aider.

    OriginalL'auteur Richardhe2007

  7. 0

    J'ai eu le même problème de l'importation de données à partir de SQL Server vers MySql à l'aide de Php.
    Ma solution a été utf8_encode() lors de l'insertion dans MySql et l'utilisation utf8_decode() lors de la récupération de MySql pour afficher dans le navigateur.
    Ici, vous avez tout mon code, que les bonnes œuvres.

    //For string values
$Gro2=(is_null($row["GrpNm"]))?"NULL":"\"".mysql_escape_string(utf8_encode($row["GrpNm"]))."\"";


$sqlMy ="INSERT INTO `tbl_name` VALUES ($Gro2)";

    Veuillez noter: Pour les nouveaux projets d'utilisation 

    mysqli_escape_string()

    lien

    OriginalL'auteur zwitterion