Comment obtenir de l'UTF-8 Java webapps?

Répondre à moi-même que la FAQ de ce site encourage. Cela fonctionne pour moi:

La plupart des personnages äåö ne sont pas une problématique que le jeu de caractères par défaut utilisé par les navigateurs et tomcat/java pour webapps est latin1 ie. ISO-8859-1, qui "comprend" ces caractères.

Pour obtenir de l'UTF-8 sous Java+Tomcat+Linux/Windows+Mysql requiert les éléments suivants:

La configuration de Tomcat server.xml

Il est nécessaire de configurer le connecteur utilise UTF-8 pour encoder l'url (GET) paramètres:

<Connector port="8080" maxHttpHeaderSize="8192"
 maxThreads="150" minSpareThreads="25" maxSpareThreads="75"
 enableLookups="false" redirectPort="8443" acceptCount="100"
 connectionTimeout="20000" disableUploadTimeout="true" 
 compression="on" 
 compressionMinSize="128" 
 noCompressionUserAgents="gozilla, traviata" 
 compressableMimeType="text/html,text/xml,text/plain,text/css,text/javascript,application/x-javascript,application/javascript"
 URIEncoding="UTF-8"
/>

La clé de la partie URIEncoding="UTF-8" dans l'exemple ci-dessus. Cela garantit que le serveur Tomcat gère tous les paramètres GET comme codé en UTF-8.
En conséquence, lorsque l'utilisateur écrit ce qui suit dans la barre d'adresse du navigateur:

 https://localhost:8443/ID/Users?action=search&name=*ж*

le caractère ж est traitée comme de l'UTF-8 et il est codé (en général, par le navigateur avant même de faire le serveur) %D0%B6.

POST de demande ne sont pas affectés par ce problème.

CharsetFilter

Alors il est temps de forcer le java webapp pour traiter toutes les demandes et les réponses codées en UTF-8. Cela implique de définir un ensemble de caractères filtre comme suit:

package fi.foo.filters;

import javax.servlet.*;
import java.io.IOException;

public class CharsetFilter implements Filter {

    private String encoding;

    public void init(FilterConfig config) throws ServletException {
        encoding = config.getInitParameter("requestEncoding");
        if (encoding == null) encoding = "UTF-8";
    }

    public void doFilter(ServletRequest request, ServletResponse response, FilterChain next)
            throws IOException, ServletException {
        //Respect the client-specified character encoding
        //(see HTTP specification section 3.4.1)
        if (null == request.getCharacterEncoding()) {
            request.setCharacterEncoding(encoding);
        }

        //Set the default response content type and encoding
        response.setContentType("text/html; charset=UTF-8");
        response.setCharacterEncoding("UTF-8");

        next.doFilter(request, response);
    }

    public void destroy() {
    }
}

Ce filtre permet de s'assurer que si le navigateur n'a pas défini le codage utilisé dans la requête, que c'est de l'UTF-8.

L'autre chose qui doit être faite par ce filtre est de définir la valeur par défaut de réponse de l'encodage ie. l'encodage dans lequel le code html renvoyé/tout ce qui est. La solution consiste à définir la réponse de l'encodage etc. dans chaque contrôleur de l'application.

Ce filtre doit être ajouté à la web.xml ou le descripteur de déploiement de la webapp:

 <!--CharsetFilter start--> 

  <filter>
    <filter-name>CharsetFilter</filter-name>
    <filter-class>fi.foo.filters.CharsetFilter</filter-class>
      <init-param>
        <param-name>requestEncoding</param-name>
        <param-value>UTF-8</param-value>
      </init-param>
  </filter>

  <filter-mapping>
    <filter-name>CharsetFilter</filter-name>
    <url-pattern>/*</url-pattern>
  </filter-mapping>

Les instructions pour la fabrication de ce filtre se trouve à l' tomcat wiki (http://wiki.apache.org/tomcat/Tomcat/UTF-8)

JSP le codage de la page

Dans votre web.xml, ajoutez la ligne suivante:

<jsp-config>
    <jsp-property-group>
        <url-pattern>*.jsp</url-pattern>
        <page-encoding>UTF-8</page-encoding>
    </jsp-property-group>
</jsp-config>

Alternativement, tous les JSP pages de l'application web aura besoin d'avoir la suite au-dessus d'eux:

 <%@page pageEncoding="UTF-8" contentType="text/html; charset=UTF-8"%>

Si un certain type de mise en page avec les différents JSP-fragments est utilisé, ce qui est nécessaire dans tous d'entre eux.

HTML-balises meta

JSP le codage de la page indique la JVM pour gérer les caractères dans la page JSP dans le bon encodage.
Alors il est temps de dire au navigateur dans lequel l'encodage de la page html est:

C'est réalisé avec le code suivant en haut de chaque page xhtml produite par la webapp:

   <?xml version="1.0" encoding="UTF-8"?>
   <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.1//EN" "http://www.w3.org/TR/xhtml11/DTD/xhtml11.dtd">
   <html xmlns="http://www.w3.org/1999/xhtml" xml:lang="fi">
   <head>
   <meta http-equiv='Content-Type' content='text/html; charset=UTF-8' />
   ...

JDBC connexion

Lors de l'utilisation de la base de données, c'est-à-dire que la connexion utilise le codage UTF-8. Ceci est fait dans le context.xml ou de l'endroit où la connexion JDBC est définie comme suit:

      <Resource name="jdbc/AppDB" 
        auth="Container"
        type="javax.sql.DataSource"
        maxActive="20" maxIdle="10" maxWait="10000"
        username="foo"
        password="bar"
        driverClassName="com.mysql.jdbc.Driver" url="jdbc:mysql://localhost:3306/     ID_development?useEncoding=true&amp;characterEncoding=UTF-8"
    />

De base de données MySQL et les tableaux

La base de données utilisée doit utiliser l'encodage UTF-8. Ce résultat est obtenu par la création de la base de données avec les éléments suivants:

   CREATE DATABASE `ID_development` 
   /*!40100 DEFAULT CHARACTER SET utf8 COLLATE utf8_swedish_ci */;

Puis, toutes les tables doivent être en UTF-8 aussi:

   CREATE TABLE  `Users` (
    `id` int(10) unsigned NOT NULL auto_increment,
    `name` varchar(30) collate utf8_swedish_ci default NULL
    PRIMARY KEY  (`id`)
   ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_swedish_ci ROW_FORMAT=DYNAMIC;

La clé de la partie CHARSET=utf8.

Configuration du serveur MySQL

MySQL serveri doit être configuré également. Typiquement, cela se fait dans Windows en modifiant mon.ini -le fichier et sous Linux en configuration de mon.cnf -fichier.
Dans ces fichiers, il convient de définir ce que tous les clients connectés au serveur utilise utf8 comme le jeu de caractères par défaut et que le jeu de caractères par défaut utilisé par le serveur est également utf8.

   [client]
   port=3306
   default-character-set=utf8

   [mysql]
   default-character-set=utf8

Mysql les procédures et les fonctions

Ces également besoin d'avoir le jeu de caractères défini. Par exemple:

   DELIMITER $$

   DROP FUNCTION IF EXISTS `pathToNode` $$
   CREATE FUNCTION `pathToNode` (ryhma_id INT) RETURNS TEXT CHARACTER SET utf8
   READS SQL DATA
   BEGIN

    DECLARE path VARCHAR(255) CHARACTER SET utf8;

   SET path = NULL;

   ...

   RETURN path;

   END $$

   DELIMITER ;

Requêtes GET: latin1 et UTF-8

Si et quand il est défini dans tomcat server.xml que OBTENIR les paramètres de la demande sont encodés en UTF-8, la suite des demandes sont traitées de manière adéquate:

   https://localhost:8443/ID/Users?action=search&name=Petteri
   https://localhost:8443/ID/Users?action=search&name=ж

Parce que des caractères ASCII sont codés de la même manière avec le latin1 et UTF-8, la chaîne "Petteri" est gérée correctement.

Le Cyrillique caractère ж n'est pas comprise dans latin1. Parce que Tomcat est chargé de gérer les paramètres de la demande comme de l'UTF-8 il code pour que le caractère correctement %D0%B6.

Si et quand les navigateurs sont priés de lire les pages en UTF-8 (avec les en-têtes de requête et html meta-tag), au moins Firefox 2/3 et les autres navigateurs à partir de cette période, tous les encoder les caractères eux-mêmes comme des %D0%B6.

Le résultat final est que tous les utilisateurs avec le nom "Petteri" sont disponibles et également à tous les utilisateurs avec le nom "ж" trouvés.

Mais qu'äåö?

HTTP-spécification définit que par défaut, les Url sont codées comme latin1. Il en résulte firefox2, firefox3 etc. codant pour la suite

    https://localhost:8443/ID/Users?action=search&name=*Päivi*

à la version encodée

    https://localhost:8443/ID/Users?action=search&name=*P%E4ivi*

En latin1 le caractère ø est codé en %E4. Même si la page/demande/tout est défini pour utiliser UTF-8. UTF-8 est la version de ä est %C3%A4

Le résultat de ceci est que c'est tout à fait impossible pour la webapp pour correly gérer les paramètres de requêtes à partir de requêtes GET comme certains caractères sont codés en latin1 et d'autres en UTF-8.
Avis: POST demandes de ne travailler que des navigateurs coder tous les paramètres de la requête à partir de formes entièrement en UTF-8 si la page est définie comme étant en UTF-8

Des trucs à lire

Un très grand merci pour les écrivains de la suite pour donner des réponses à mon problème:

• http://tagunov.tripod.com/i18n/i18n.html
• http://wiki.apache.org/tomcat/Tomcat/UTF-8
• http://java.sun.com/developer/technicalArticles/Intl/HTTPCharset/
• http://dev.mysql.com/doc/refman/5.0/en/charset-syntax.html
• http://cagan327.blogspot.com/2006/05/utf-8-encoding-fix-tomcat-jsp-etc.html
• http://cagan327.blogspot.com/2006/05/utf-8-encoding-fix-for-mysql-tomcat.html
• http://jeppesn.dk/utf-8.html
• http://www.nabble.com/request-parameters-mishandle-utf-8-encoding-td18720039.html
• http://www.utoronto.ca/webdocs/HTMLdocs/NewHTML/iso_table.html
• http://www.utf8-chartable.de/

Remarque Importante

mysql prend en charge le Plan Multilingue De Base à l'aide de 3 octets de caractères UTF-8. Si vous avez besoin d'aller à l'extérieur de l' (certains alphabets besoin de plus de 3 octets en UTF-8), alors vous devez soit utiliser une saveur de VARBINARY type de colonne ou de l'utilisation de la utf8mb4 jeu de caractères (ce qui nécessite MySQL 5.5.3 ou plus tard). Juste être conscient que l'utilisation de la utf8 un ensemble de caractères dans MySQL ne fonctionne pas 100% du temps.

Tomcat Apache

Une chose de plus Si vous utilisez Apache + Tomcat + connecteur mod_JK, alors vous aussi besoin de faire les modifications suivantes:

1. Ajouter URIEncoding="UTF-8" dans tomcat server.xml fichier pour 8009 connecteur, il est utilisé par connecteur mod_JK. <Connector port="8009" protocol="AJP/1.3" redirectPort="8443" URIEncoding="UTF-8"/>
2. Goto votre dossier d'apache c'est à dire /etc/httpd/conf et ajouter AddDefaultCharset utf-8 dans httpd.conf file. Remarque: vérifiez d'Abord qu'il existe ou pas. Si existe pas, vous pouvez le mettre à jour avec cette ligne. Vous pouvez ajouter cette ligne à bas aussi.

À ajouter à kosoant réponse, si vous utilisez le Printemps, plutôt que d'écrire votre propre filtre de Servlet, vous pouvez utiliser la classe org.springframework.web.filter.CharacterEncodingFilter qu'ils fournissent, une configuration comme celle-ci dans votre web.xml:

 <filter>
    <filter-name>encoding-filter</filter-name>
    <filter-class>org.springframework.web.filter.CharacterEncodingFilter</filter-class>
    <init-param>
       <param-name>encoding</param-name>
       <param-value>UTF-8</param-value>
    </init-param>
    <init-param>
       <param-name>forceEncoding</param-name>
       <param-value>FALSE</param-value>
    </init-param>
 </filter>
 <filter-mapping>
    <filter-name>encoding-filter</filter-name>
    <url-pattern>/*</url-pattern>
 </filter-mapping>

C'est pour les grecs de l'Encodage dans des tables MySql lorsque nous voulons accéder à l'aide de Java:

Utiliser la connexion suivante de l'installation dans votre JBoss pool de connexion (mysql-ds.xml)

<connection-url>jdbc:mysql://192.168.10.123:3308/mydatabase</connection-url>
<driver-class>com.mysql.jdbc.Driver</driver-class>
<user-name>nts</user-name>
<password>xaxaxa!</password>
<connection-property name="useUnicode">true</connection-property>
<connection-property name="characterEncoding">greek</connection-property>

Si vous ne voulez pas mettre cela dans une connexion JNDI de la piscine, vous pouvez le configurer comme un JDBC url-comme la ligne suivante illustre:

jdbc:mysql://192.168.10.123:3308/mydatabase?characterEncoding=greek

Pour moi et Nick, de sorte que nous ne l'oubliez jamais et perdre du temps plus.....

Je suis avec un problème similaire, mais, dans les noms de fichier d'un fichier, je suis la compression avec apache commons.
Alors, j'ai résolu avec cette commande:

convmv --notest -f cp1252 -t utf8 * -r

il fonctionne très bien pour moi. Espérons que cela aide quelqu'un 😉

Un autre point qui n'a pas été mentionné concerne les Servlets Java de travail avec l'Ajax. J'ai situations où une page web est de ramasser de l'utf-8 de texte de l'utilisateur, l'envoi de ce à un fichier JavaScript qui l'inclut dans un URI envoyé à la Servlet. La Servlet interroge une base de données, capture le résultat et le renvoie au format XML pour le fichier JavaScript qui les met en forme et insère la mise en forme de la réponse dans la page web d'origine.

Dans une application web, j'ai été à la suite d'un début de l'Ajax du livre d'instructions pour l'emballage jusqu'à l'JavaScript dans la construction de l'URI. L'exemple dans le livre utilisé la méthode escape (), que j'ai découvert (à la dure) est erroné. Pour l'utf-8, vous devez utiliser encodeURIComponent().

Peu de gens semblent rouler leur propre Ajax ces jours, mais j'ai pensé que je pourrais aussi bien ajouter ce.

Un certain temps, vous pouvez résoudre le problème par le biais de MySQL Administrateur assistant. Dans

De démarrage des variables > Avancé >

et set Def. Jeu de caractères:utf8

Peut-être que cette config besoin de redémarrer MySQL.

Face à la même question sur Spring MVC 5 + Tomcat 9 + JSP.

Après le long travail de recherche, est venu à une solution élégante (pas besoin filtres et pas besoin changements dans le Tomcat server.xml (à partir de 8.0.0-RC3 version))

1. Dans le WebMvcConfigurer mise en œuvre définir le codage par défaut pour messageSource (pour la lecture de données à partir de messages de fichiers source dans le codage UTF-8.

   @Configuration
   @EnableWebMvc
   @ComponentScan("{package.with.components}")
   public class WebApplicationContextConfig implements WebMvcConfigurer {
   
       @Bean
       public MessageSource messageSource() {
           final ResourceBundleMessageSource messageSource = new ResourceBundleMessageSource();
   
           messageSource.setBasenames("messages");
           messageSource.setDefaultEncoding("UTF-8");
   
           return messageSource;
       }
   
       /* other beans and methods */
   
   }

2. Dans le DispatcherServletInitializer de mise en œuvre de @Override la onStartup de la méthode et de l'ensemble de la demande et des ressources de codage de caractères en informatique.

   public class DispatcherServletInitializer extends AbstractAnnotationConfigDispatcherServletInitializer {
   
       @Override
       public void onStartup(final ServletContext servletContext) throws ServletException {
   
           //https://wiki.apache.org/tomcat/FAQ/CharacterEncoding
           servletContext.setRequestCharacterEncoding("UTF-8");
           servletContext.setResponseCharacterEncoding("UTF-8");
   
           super.onStartup(servletContext);
       }
   
       /* servlet mappings, root and web application configs, other methods */
   
   }

3. Enregistrer tous les messages de la source et de visualiser des fichiers en UTF-8.

4. Ajouter <%@ page contentType="text/html;charset=UTF-8" %> ou <%@ page pageEncoding="UTF-8" %> dans chaque *.fichier jsp ou ajouter jsp-config descripteur de web.xml

   <?xml version="1.0" encoding="UTF-8"?>
   <web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee"
    xsi:schemaLocation="http://java.sun.com/xml/ns/javaee http://java.sun.com/xml/ns/javaee/web-app_3_0.xsd"
    id="WebApp_ID" version="3.0">
       <display-name>AppName</display-name>
   
       <jsp-config>
           <jsp-property-group>
               <url-pattern>*.jsp</url-pattern>
               <page-encoding>UTF-8</page-encoding>
           </jsp-property-group>
       </jsp-config>
   </web-app>