Spring Batch : Tasklet avec multi threaded exécuteur testamentaire est très mauvaises performances liées à la Limitation de l'algorithme de

Comme Alex l'a dit, il semble que ce comportement est un contrat par javadoc :

Sous-classes a juste besoin de fournir une méthode qui obtient le résultat suivant * et celui qui attend tous les résultats renvoyés simultanés * processus ou threads

Regardez:

TaskExecutorRepeatTemplate#waitForResults

Une autre option pour vous serait d'utiliser le Partitionnement :

• Un TaskExecutorPartitionHandler qui exécutera les éléments de Partitionné ItemReader, voir ci-dessous
• Un outil de Partitionnement de mise en œuvre qui donne les plages à être traitées par ItemReader, voir ColumnRangePartitioner ci-dessous
• Un CustomReader qui va lire des données à l'aide de ce programme de Partitionnement sera rempli, voir myItemReader de configuration ci-dessous

Michael Minella explique dans le Chapitre 11 de son livre Pro Spring Batch:

<batch:job id="batchWithPartition">
<batch:step id="step1.master">
<batch:partition  partitioner="myPartitioner" handler="partitionHandler"/>
</batch:step>       
</batch:job>
<!-- This one will create Paritions of Number of lines/ Grid Size--> 
<bean id="myPartitioner" class="....ColumnRangePartitioner"/>
<!-- This one will handle every partition in a Thread -->
<bean id="partitionHandler" class="org.springframework.batch.core.partition.support.TaskExecutorPartitionHandler">
<property name="taskExecutor" ref="multiThreadedTaskExecutor"/>
<property name="step" ref="step1" />
<property name="gridSize" value="10" />
</bean>
<batch:step id="step1">
<batch:tasklet transaction-manager="transactionManager">
<batch:chunk reader="myItemReader"
writer="manipulatableWriterForTests" commit-interval="1"
skip-limit="30000">
<batch:skippable-exception-classes>
<batch:include class="java.lang.Exception" />
</batch:skippable-exception-classes>
</batch:chunk>
</batch:tasklet>
</batch:step>
<!-- scope step is critical here-->
<bean id="myItemReader"    
class="org.springframework.batch.item.database.JdbcCursorItemReader" scope="step">
<property name="dataSource" ref="dataSource"/>
<property name="sql">
<value>
<![CDATA[
select * from customers where id >= ? and id <=  ?
]]>
</value>
</property>
<property name="preparedStatementSetter">
<bean class="org.springframework.batch.core.resource.ListPreparedStatementSetter">
<property name="parameters">
<list>
<!-- minValue and maxValue are filled in by Partitioner for each Partition in an ExecutionContext-->
<value>{stepExecutionContext[minValue]}</value>
<value>#{stepExecutionContext[maxValue]}</value>
</list>
</property>
</bean>
</property>
<property name="rowMapper" ref="customerRowMapper"/>
</bean>

Partitioner.java:

 package ...;
import java.util.HashMap;  
import java.util.Map;
import org.springframework.batch.core.partition.support.Partitioner;
import org.springframework.batch.item.ExecutionContext;
public class ColumnRangePartitioner  implements Partitioner {
private String column;
private String table;
public Map<String, ExecutionContext> partition(int gridSize) {
int min =  queryForInt("SELECT MIN(" + column + ") from " + table);
int max = queryForInt("SELECT MAX(" + column + ") from " + table);
int targetSize = (max - min) / gridSize;
System.out.println("Our partition size will be " + targetSize);
System.out.println("We will have " + gridSize + " partitions");
Map<String, ExecutionContext> result = new HashMap<String, ExecutionContext>();
int number = 0;
int start = min;
int end = start + targetSize - 1;
while (start <= max) {
ExecutionContext value = new ExecutionContext();
result.put("partition" + number, value);
if (end >= max) {
end = max;
}
value.putInt("minValue", start);
value.putInt("maxValue", end);
System.out.println("minValue = " + start);
System.out.println("maxValue = " + end);
start += targetSize;
end += targetSize;
number++;
}
System.out.println("We are returning " + result.size() + " partitions");
return result;
}
public void setColumn(String column) {
this.column = column;
}
public void setTable(String table) {
this.table = table;
}
}

OriginalL'auteur UBIK LOAD PACK

Dans mon cas, si je n'ai pas mis la manette des gaz-limite, seulement 4 threads venir dans la méthode read() de ItemReader qui est aussi le nombre de threads par défaut, si rien n'est spécifié dans la tasklet balise comme par Ressort documentation du Lot.

Si je spécifier plusieurs threads e.g 10, 20 ou 100, puis seulement 8 threads venir dans la méthode read() de ItemReader

OriginalL'auteur Harsh Gupta