Comment gérer un grand jeu de données à l'aide de Printemps MySQL et RowCallbackHandler

J'essaie d'aller sur chaque ligne d'une table dans MySQL à l'aide de Printemps et un JdbcTemplate. Si je ne me trompe pas, cela devrait être aussi simple que:

JdbcTemplate template = new JdbcTemplate(datasource);
template.setFetchSize(1);
//template.setFetchSize(Integer.MIN_VALUE) does not work either            
template.query("SELECT * FROM cdr", new RowCallbackHandler() {
  public void processRow(ResultSet rs) throws SQLException {
    System.out.println(rs.getString("src"));
  }
});

- Je obtenir une OutOfMemoryError parce qu'il est en train d'essayer de lire l'ensemble de la chose. Des idées?

  • Hey, soin de changer la accepté de répondre. Votre question a été sur le printemps et l' @scompt.com's réponse est plus approprié. Merci beaucoup.
InformationsquelleAutor Ricardo Marimon | 2010-01-19
  1. 9

    La Statement#setFetchSize() javadoc déjà membres:

    Donne le pilote JDBC un soupçon comme pour le nombre de lignes qui doivent être récupérées à partir de la base de données

    Le pilote est en fait libre de les appliquer ou de les ignorer l'indicateur. Certains pilotes de l'ignorer, certains pilotes s'applique directement, certains pilotes a besoin de plus de paramètres. Le pilote JDBC MySQL tombe dans cette dernière catégorie. Si vous cochez la Pilote JDBC MySQL documentation, vous verrez les informations suivantes (faites défiler environ 2/3 vers le bas jusqu'à ce que l'en-tête ResultSet):

    Pour activer cette fonctionnalité, vous devez créer une Déclaration de l'instance de la manière suivante:

    stmt = conn.createStatement(java.sql.ResultSet.TYPE_FORWARD_ONLY, java.sql.ResultSet.CONCUR_READ_ONLY);
stmt.setFetchSize(Integer.MIN_VALUE);

    Veuillez lire la ensemble section du document, il décrit les mises en garde de cette approche.

    De l'obtenir pour fonctionner au Printemps, vous aurez cependant besoin de s'étendre/remplacer les JdbcTemplate avec une mesure de mise en œuvre. Comme je ne fais pas de Printemps, je ne peux pas aller dans les détails à ce sujet, mais maintenant, vous avez au moins savoir où chercher.

    Bonne chance.

    InformationsquelleAutor BalusC
  2. 18

    Ici le Printemps solution basée sur le réponse fournis par BalusC.

    class StreamingStatementCreator implements PreparedStatementCreator {
    private final String sql;

    public StreamingStatementCreator(String sql) {
        this.sql = sql;
    }

    @Override
    public PreparedStatement createPreparedStatement(Connection connection) throws SQLException {
        final PreparedStatement statement = connection.prepareStatement(sql, ResultSet.TYPE_FORWARD_ONLY, ResultSet.CONCUR_READ_ONLY);
        statement.setFetchSize(Integer.MIN_VALUE);
        return statement;
    }
}

    Quelque part dans votre code:

    DataSource dataSource = ...;
RowCallbackHandler rowHandler = ...;
JdbcTemplate jdbcTemplate = new JdbcTemplate(dataSource);
jdbcTemplate.query(new StreamingStatementCreator("SELECT * FROM huge_table"), rowHandler);
    • intéressant de noter que vous devez vous assurer que useServerPrepStmts propriété dans votre chaîne de connexion est correctement réglé, c'est à dire si par hasard cette série de faux ^^ ne fonctionnent pas et il sera cache un jeu de résultats complet
    • Il est intéressant de noter qu'avec le Printemps 3 la JdbcTemplate de setFetchSize ignore les limites inférieure à 1 et donc vous devez remplacer un très de base de la fonctionnalité. Beurk.
    • Après 4.3 travail - Note: 4.3, les valeurs négatives autre que -1 aurez transmis au pilote, depuis par exemple MySQL prend en charge un comportement spécial pour Entier.MIN_VALUE.
    InformationsquelleAutor Edward Dale
  3. 0

    Si vous pensez que vous êtes l'obtention de la OutOfMemory erreur due à l'ensemble de la lecture de la table, pourquoi ne pas vous essayez de diviser votre requête. L'utilisation de filtres, clause LIMIT etc.

    • Que serait la cause de la logique du processus beaucoup plus complexe. Je suis en train de tester un moyen de le faire réellement le streaming via le Printemps JdbcTeamplate. Vous permettra de savoir si il fonctionne...
    InformationsquelleAutor Mihir Mathuria