Spring batch jpaPagingItemReader pourquoi certaines lignes ne sont pas lus?

org.springframework.lot.de l'élément.la base de données.JpaPagingItemReader crée est propre entityManager instance

(à partir de org.springframework.lot.de l'élément.la base de données.JpaPagingItemReader#doOpen) :

entityManager = entityManagerFactory.createEntityManager(jpaPropertyMap);

Si vous êtes à l'intérieur d'une transaction, comme cela semble être le lecteur, les entités ne sont pas détachés
(à partir de org.springframework.lot.de l'élément.la base de données.JpaPagingItemReader#doReadPage):

    if (!transacted) {
        List<T> queryResult = query.getResultList();
        for (T entity : queryResult) {
            entityManager.detach(entity);
            results.add(entity);
        }//end if
    } else {
        results.addAll(query.getResultList());
        tx.commit();
    }

Pour cette raison, lorsque vous mettez à jour un élément dans un processeur ou de l'écrivain, ce point est toujours géré par le reader's entityManager.

Lorsque l'élément lecteur lit le prochain bloc de données, il vide le contexte de la base de données.

Donc, si on regarde votre cas, après le premier bloc de données de processus, nous avons en base de données:

|id|active
|1 | false
|2 | false
|3 | false

org.springframework.lot.de l'élément.la base de données.JpaPagingItemReader utilise limit & offset pour récupérer paginé de données. Donc, la prochaine sélectionnez créé par le lecteur ressemble à :

select * from table where active = true offset 3 limits 3. 

Lecteur va manquer les éléments avec l'id 4,5,6, parce qu'ils sont désormais les premières lignes extraites d'une base de données.

Ce que vous pouvez faire, comme une solution de contournement est d'utiliser jdbc mise en œuvre (org.springframework.lot.de l'élément.la base de données.JdbcPagingItemReader), car il n'a pas de limite d'utilisation & offset. Il est basé sur une colonne triée (en général, la colonne id), de sorte que vous ne manquerez pas de toutes les données.
Bien sûr, vous devrez mettre à jour vos données dans l'écrivain (à l'aide de JPA ou pure JDBC mise en œuvre)

Lecteur sera plus prolixe:

@Bean
public ItemReader<? extends Entity> reader() {
    JdbcPagingItemReader<Entity> reader = new JdbcPagingItemReader<Entity>();
    final SqlPagingQueryProviderFactoryBean sqlPagingQueryProviderFactoryBean = new SqlPagingQueryProviderFactoryBean();
    sqlPagingQueryProviderFactoryBean.setDataSource(dataSource);
    sqlPagingQueryProviderFactoryBean.setSelectClause("select *");
    sqlPagingQueryProviderFactoryBean.setFromClause("from <your table name>");
    sqlPagingQueryProviderFactoryBean.setWhereClause("where active = true");
    sqlPagingQueryProviderFactoryBean.setSortKey("id");
    try {
        reader.setQueryProvider(sqlPagingQueryProviderFactoryBean.getObject());
    } catch (Exception e) {
        e.printStackTrace();
    }
    reader.setDataSource(dataSource);
    reader.setPageSize(3);
    reader.setRowMapper(new BeanPropertyRowMapper<Entity>(Entity.class));
    return reader;

OriginalL'auteur Manuel Verriez

J'ai eu le même problème avec les lignes ignorées basé sur la pageSize.
Si j'ai pageSize fixé à 2 par exemple, il serait lire 2, ignorer 2, lire 2, ignorer 2 etc.

J'ai été la construction d'un démon processeur pour interroger une 'Demande' table de base de données pour les enregistrements à une "Attente De traitement". Le démon est conçu pour fonctionner à jamais dans l'arrière-plan.

J'ai eu un "statut" de terrain qui a été défini dans le @NamedQuery et permettrait de sélectionner les enregistrements dont le statut a été '10':en Attente de traitement. Après que le dossier a été traité, le champ de statut sera mis à jour à '20':Erreur ou '30':le Succès.
Cela s'est avéré pour être la cause du problème - j'ai été mise à jour d'un champ qui a été défini dans la requête. Si j'ai mis en place un "processedField" et mis à jour qu'au lieu de 'l'état' champ, alors pas de problème, tous les enregistrements de lecture.

Comme une solution possible pour mettre à jour le champ d'état, je setMaxItemCount être le même que le PageSize; cette mise à jour les enregistrements correctement avant l'étape d'achèvement. J'ai alors gardez l'exécution de l'étape jusqu'à ce qu'une demande est faite pour arrêter le démon. OK, probablement pas le moyen le plus efficace de le faire (mais je suis toujours en bénéficiant de la facilité d'utilisation de JPA) mais je pense qu'il serait probablement mieux d'utiliser JdbcPagingItemReader (décrites ci – dessus (merci!). Avis sur la meilleure approche à ce lot d'interrogation de la base de données problème serait la bienvenue 🙂

OriginalL'auteur Mark Plumridge