Travail par lots Printemps lu depuis plusieurs sources

Comment puis-je lire des articles à partir de plusieurs bases de données? Je sais déjà qu'il est possible à partir de fichiers.
l'exemple suivant fonctionne pour lire à partir de plusieurs fichiers

...
<job id="readMultiFileJob" xmlns="http://www.springframework.org/schema/batch">
    <step id="step1">
    <tasklet>
        <chunk reader="multiResourceReader" writer="flatFileItemWriter"
            commit-interval="1" />
    </tasklet>
    </step>
</job>
...
<bean id="multiResourceReader"
    class=" org.springframework.batch.item.file.MultiResourceItemReader">
    <property name="resources" value="file:csv/inputs/domain-*.csv" />
    <property name="delegate" ref="flatFileItemReader" />
</bean>
...

trois haricots comme ça.

<bean id="database2" class="org.springframework.batch.item.database.JdbcCursorItemReader">
    <property name="name" value="database2Reader" />
    <property name="dataSource" ref="dataSource2" />
    <property name="sql" value="select image from object where image like '%/images/%'" />
    <property name="rowMapper">
        <bean class="sym.batch.ImagesRowMapper2" />
    </property>
</bean>

source d'informationauteur xedo

  1. 11

    Il n'y a pas de prêt-à-utiliser un composant qui effectuent ce que vous demandez; la seule solution est d'écrire une coutume ItemReader<> que les délégués à JdbcCursorItemReader (ou à HibernateCursorItemReader ou à un médicament générique ItemReader mise en œuvre).

    Vous avez besoin pour préparer toutes les choses nécessaires (source de données, la session, la vraie base de données des lecteurs) et de lier tous les délégués, les lecteurs de votre lecture personnalisée.

    EDIT:
    Vous avez besoin de simuler une boucle à l'aide de recusion de ItemReader.read() et mantain lecteur et les délégués de l'etat à travers l'emploi redémarre.

    class MyItemReader<T> implements ItemReader<T>, ItemStream {
private ItemReader[] delegates;
private int delegateIndex;
private ItemReader<T> currentDelegate;
private ExecutionContext stepExecutionContext;
public void setDelegates(ItemReader[] delegates) {
this.delegates = delegates;
}
@BeforeStep
private void beforeStep(StepExecution stepExecution) {
this.stepExecutionContext = stepExecution.getExecutionContext();
}
public T read() {
T item = null;
if(null != currentDelegate) {
item = currentDelegate.read();
if(null == item) {
((ItemStream)this.currentDelegate).close();
this.currentDelegate = null;
}
}
//Move to next delegate if previous was exhausted!
if(null == item && this.delegateIndex< this.delegates.length) {
this.currentDelegate = this.delegates[this.currentIndex++];
((ItemStream)this.currentDelegate).open(this.stepExecutionContext);
update(this.stepExecutionContext);
//Recurse to read() to simulate loop through delegates
item = read();
}
return item;
}
public void open(ExecutionContext ctx) {
//During open restore last active reader and restore its state
if(ctx.containsKey("index")) {
this.delegateIndex = ctx.getInt("index");
this.currentDelegate = this.delegates[this.delegateIndex];
((ItemStream)this.currentDelegate ).open(ctx);
}
}
public void update(ExecutionContext ctx) {
//Update current delegate index and state
ctx.putInt("index", this.delegateIndex);
if(null != this.currentDelegate) {
((ItemStream)this.currentDelegate).update(ctx);
}
}
public void close(ExecutionContext ctx) {
if(null != this.currentDelegate) {
((ItemStream)this.currentDelegate).close();
}
}
    <bean id="myItemReader" class=path.to.MyItemReader>
<property name="delegates">
<array>
<ref bean="itemReader1"/>
<ref bean="itemReader2"/>
<ref bean="itemReader3"/>
</array>
</property>
</bean>

    EDIT2: n'oubliez pas de définir la propriété nom; il est NÉCESSAIRE de laisser MyItemReader.read() fonctionne correctement

    <bean id="itemReader1" class="JdbcCursorItemReader">
<property name="name" value="itemReader1" />
<!-- Set other properties -->
</bean>
  2. 1

    Je suggère une solution simple qui peut ne pas convenir à tous les cas, mais sera utile dans de nombreuses:

    De définir simplement:

    • 2 lecteurs, un pour chaque base de données
    • 2 étapes
    • un travail qui contient à la fois en 2 étapes

    Les 2 étapes sont presque identiques, ils font référence à la même processeur et écrivain, mais elles ont des lecteurs. Ils seront appelés successivement.

    Si cette configuration fonctionne dépendra du processeur et écrivain (qu'ils continuent de fonctionner correctement lorsqu'il est appelé dans les différentes étapes). Dans mon cas, c'était suffisant pour définir appendAllowed=true à l'écrivain, à ce que les deux étapes peuvent écrire dans le même fichier.

  3. 0

    Je suggère une façon délicate. Si nous supposons que l'un est votre source de données mysql de la table de base et chaque ligne de cette table correspond autre source de données mysql table en ligne(comme une jointure de tables qui sont dans les différentes sources de données), vous pouvez le faire dans votre travail par lots itemreader. Ex de cette façon;

    Printemps De La Source De Données De Configuration;

    <bean id="mySqlDataSource1" class="org.apache.commons.dbcp.BasicDataSource">
<property name="driverClassName" value="${database1.driverClassName}"/>
<property name="url" value="${database1.url}"/>
<property name="username" value="${database1.username}"/>
<property name="password" value="${database1.password}"/>
<property name="validationQuery" value="${database1.validationQuery}"/>
</bean>
<bean id="mySqlDataSource2" class="org.apache.commons.dbcp.BasicDataSource">
<property name="driverClassName" value="${database2.driverClassName}"/>
<property name="url" value="${database2.url}"/>
<property name="username" value="${database2.username}"/>
<property name="password" value="${database2.password}"/>
<property name="validationQuery" value="${database2.validationQuery}"/>
</bean>

    Votre batch-job.xml

    <bean id="multiDatasorceReader" class="org.springframework.batch.item.database.JdbcCursorItemReader" scope="step">
<property name="dataSource" ref="mySqlDataSource1" />
<property name="rowMapper" ref="multiDatasourceRowMapper" />
<property name="sql">
<value>
SELECT * FROM xyz
</value>
</property>
</bean>
<bean id="multiDatasourceRowMapper" class="yourpackage.MultiDatasourceRowMapper" scope="step">
<property name="secondDataSource" ref="mySqlDataSource2" />
<property name="secondSql">
<value>
SELECT * FROM abc
</value>
</property>
</bean>

    Votre RowMapper ressemble;

    public class MultiDatasourceRowMapper implements RowMapper<String> {
private DataSource secondDataSource;
private String secondSql;
public String mapRow(ResultSet rs, int arg1) throws SQLException {
Connection conn = secondDataSource.getConnection();
PreparedStatement prep = conn.prepareStatement(secondSql); 
//Do Something
return "";
}
public void setSecondDataSource(DataSource secondDataSource) {
this.secondDataSource = secondDataSource;
}
public void setSecondSql(String secondSql) {
this.secondSql = secondSql;
}
}