Ne peut pas analyser et afficher les caractères non-utf8 lire à partir d'une requête http

Le problème que vous avez est probablement causé par un mauvais réglage de l'encodage des caractères sur le point que vous lisez dans la réponse http à partir de google. Pouvez-vous poster le code qui est de l'URL et l'analyse dans l'objet JSON?

Comme un exemple exécuter les opérations suivantes:

public class Test1 {
  public static void main(String [] args) throws Exception {

    //just testing that the console can output the correct chars
    System.out.println("\"title\":\"مطبخ مطايب - كباب الدجاج والخضار بصلصة الروب");

    URL url = new URL("http://ajax.googleapis.com/ajax/services/search/web?start=0&rsz=large&v=1.0&q=rz+img+news+recordid+border");
    HttpURLConnection connection = (HttpURLConnection) url.openConnection();
    InputStream is  = connection.getInputStream();

    //the important bit is here..........................\/\/\/
    InputStreamReader reader = new InputStreamReader(is, "utf-8");


    StringWriter sw = new StringWriter();

    char [] buffer = new char[1024 * 8];
    int count ;

    while( (count = reader.read(buffer)) != -1){
      sw.write(buffer, 0, count);
    }

    System.out.println(sw.toString());
  }
}

C'est à l'aide de la plutôt laid standard URL.openConnection() qui a été autour depuis l'aube des temps. Si vous utilisez quelque chose comme Apache httpclient alors vous pouvez le faire très facilement.

Pour un peu de fond de lecture sur le codage et peut-être une explication de pourquoi new String (str.getBytes(), "UTF8"); ne fonctionnera jamais lu Joël article sur unicode

OriginalL'auteur Gareth Davis

La partie importante du problème est de savoir comment vous gérez le contenu de la réponse HTTP. Qui est, comment êtes-vous de la création de la json objet? Au moment où vous obtenez le code dans votre post original, le contenu a déjà été endommagé.

Les résultats d'une requête dans codé en UTF-8 données. Comment êtes-vous l'analyse en objets JSON? Est le bon encodage spécifié pour le décodeur? Ou est votre plate-forme de codage de caractères par défaut utilisé?

OriginalL'auteur erickson

Il y a un bibliothèque qui conserve l'encodage de la réponse http (tchèque expressions) avec JSon message comme ceci :

private static String inputStreamToString(final InputStream inputStream) throws Exception {
final StringBuilder outputBuilder = new StringBuilder();
try {
String string;
if (inputStream != null) {
BufferedReader reader = new BufferedReader(new InputStreamReader(inputStream, "UTF-8"));
while (null != (string = reader.readLine())) {
outputBuilder.append(string).append('\n');
}
}
} catch (Exception ex) {
throw new Exception("[google-api-translate-java] Error reading translation stream.", ex);
}
return outputBuilder.toString();
}

La réponse est délicate et il y a quelques points on doit prêter attention, surtout à la plate-forme d'encodage:

autant que je sache, affecte l'impression de sortir de la console, la création de fichiers à partir d'un inputstream et même de la communication entre les bases de données client et le serveur, même si elles sont toutes les deux à utiliser l'utf-8 jeu de caractères pour l'encodage - peu importe si je créer explicitement chaîne utf-8, inputstreamReader ou un ensemble de pilote JDBC pour l'UTF-8, encore à mettre en place $LANG propriété xx_XX.UTF-8 sur les systèmes linux et ajouter append=" vt.default_utf8=1" LILO boot loader (sur les systèmes qui l'utilisent), doit être faite au moins pour les systèmes de base de données et d'applications java de travail avec codé en utf-8 fichiers.

Même si j'ai ajouter ce paramètre de JVM -Dfile.encoding=UTF-8, sans la plate-forme d'encodage je n'ai pas réussi à bien le flux encodés. Ayant connecteur JDBC correctement configuré est nécessaire : "jdbc:mysql://localhost/DBname?useUnicode=true&characterEncoding=UTF8", si vous allez persister les cordes d'une base de données, qui devrait être dans cet état:

    mysql> SHOW VARIABLES LIKE 'character\_set\_%';
+--------------------------+--------+
| Variable_name            | Value  |
+--------------------------+--------+
| character_set_client     | utf8   |
| character_set_connection | utf8   |
| character_set_database   | utf8   |
| character_set_filesystem | binary |
| character_set_results    | utf8   |
| character_set_server     | utf8   |
| character_set_system     | utf8   |
+--------------------------+--------+

OriginalL'auteur lisak