Comment gérer les SQL état [HY000]; code d'erreur [1366]; une mauvaise chaîne de valeur?

Je suis au courant de cette erreur signifie une colonne mysql n'accepte pas la valeur, mais ce qui est étrange, étant donné que la valeur s'inscrit dans une Java codé en UTF-8 chaîne, et la base de la colonne est utf8_general_ci. Aussi, tous les caractères utf8 ont fonctionné correctement jusqu'à présent, en dehors de ceux-ci.

Le cas d'utilisation est la suivante: je suis l'importation de tweets. Le tweet en question est: https://twitter.com/bakervin/status/210054214951518212 - vous pouvez voir les deux "étrange" des personnages (et deux étranges les espacements entre eux). La question est - comment gérer cela:

  • garniture de ces personnages (comment - qui sont-ils, comment le Java UTF-8 différer de MySQL un)
  • de rendre la colonne capables d'accepter cette valeur (comment - est-il rien de plus utf-y que utf8_general_ci)

OriginalL'auteur Bozho | 2012-06-15

  1. 12

    Ceux-ci semblent être unicode caractères de substitution. Car ils ne sont pas de vrais caractères, et il semble que MySQL ne supporte pas, c'est sûr pour la garniture:

    StringBuilder sb = new StringBuilder();
for (int i = 0; i < text.length(); i++) {
    char ch = text.charAt(i);
    if (!Character.isHighSurrogate(ch) && !Character.isLowSurrogate(ch)) {
        sb.append(ch);
    }
}
return sb.toString();

    OriginalL'auteur Bozho