Tutoriel sur l'Utilisation du multi-threading dans jdbc

Notre société dispose d'un Lot de l'Application qui s'exécute tous les jours, Il fait un peu de la base de données des emplois liés pour la plupart, d'importer des données dans la table de base de données à partir d'un fichier par exemple.

Il y a+ de 20 tâches définies dans la demande, chacun dépend des autres ou pas.
L'application d'exécuter les tâches une par une, l'ensemble de l'application s'exécute dans un thread unique.

Il faut 3~7 heures pour terminer toutes les tâches. Je pense que c'est trop long, donc je pense que je peux peut-être améliorer les performances en multi-threading.

Je pense qu'il y a dépendance entre les tâches, il n'est pas bon (ou il n'est pas facile) de faire les tâches s'exécutent en parallèle, mais peut-être que je peux utiliser le multi-threading pour améliorer les performances à l'intérieur d'une tâche.

par exemple : nous avons une tâche définie comme "ImportBizData", qui copie les données dans une table de base de données à partir d'un fichier de données(contient généralement 100,0000+ lignes). Je me demande, c'est que la peine d'utiliser le multi-threading?

Que je connais un peu le multi-threading, j'espère que quelqu'un de fournir un tutoriel liens sur ce sujet.

avant cela, vous êtes déjà à l'aide de JDBC opérations de traitement par lots?
certaines tâches, certaines pas
Votre intuition est juste qu'il vaut la peine de regarder le multithreading. Une fois, j'ai converti une de huit heures de travail par lots dans un 15-20 minutes de travail en faisant exactement ce que vous envisagez de faire.
Moi aussi j'ai le même scénario. Mais je suis confronté à un db verrou de table de problème et le processus est accrochée à chaque fois que je l'exécuter. Avez-vous été confronté à ce genre de problème? Comment peut-il être fixé?

OriginalL'auteur CaiNiaoCoder | 2011-08-25

  1. 21

    Multi-threading permettra d'améliorer votre performance, mais il ya un couple de choses que vous devez savoir:

    1. Chaque thread a besoin de sa propre connexion JDBC. Les connexions ne peuvent pas être partagées entre les threads parce que chaque connexion est également une opération.
    2. Télécharger les données en morceaux et commit de temps en temps pour éviter l'accumulation énorme de restauration/annuler tables.
    3. Découper les tâches en plusieurs unités de travail où chaque unité d'un emploi.

    À élaborer un dernier point: à l'heure actuelle, vous avez une tâche qui lit un fichier, analyse, ouvre une connexion JDBC, effectue quelques calculs, envoie les données à la base de données, etc.

    Ce que vous devez faire:

    1. Un (!) thread pour lire le fichier et de créer des "emplois". Chaque tâche doit contient une petite, mais pas trop petite "unité de travail". Pousser ces dans une file d'attente
    2. Le fil suivant(s) attente(s) pour les travaux dans la file d'attente et de faire les calculs. Cela peut se produire alors que les threads dans l'étape #1 attendre la lenteur du disque dur de retourner les nouvelles lignes de données. Le résultat de cette étape de conversion est inclus dans la prochaine file d'attente
    3. Un ou plusieurs threads pour transférer les données via JDBC.

    Le premier et le dernier fils sont assez lents parce qu'ils sont I/O bound (disques durs sont lents et les connexions réseau sont encore pire). En Plus de l'insertion des données dans une base de données est une tâche très complexe (allocation d'espace, la mise à jour des index, la vérification des clés étrangères)

    À l'aide de différents threads de travail vous donne beaucoup d'avantages:

    1. Il est facile de tester chaque thread séparément. Depuis qu'elles ne partagent pas de données, vous n'avez pas besoin de synchronisation. Les files d'attente ne sera que pour vous
    2. Vous pouvez modifier rapidement le nombre de threads pour chaque étape pour ajuster les performances

    OriginalL'auteur Aaron Digulla

  2. 5

    Multi threading peut être de l'aide, si les lignes ne sont pas corrélés, vous pouvez commencer deux modes de lecture même esprit, un autre lignes inégales, et obtenir votre connexion db à partir d'un pool de connexion (dbcp) et analyse de la performance. Mais je souhaite tout d'abord de déterminer si jdbc est la meilleure approche normalement les bases de données ont des solutions optimisées pour les importations de ce genre. Ces solutions peuvent aussi passer temporairement de la vérification des contraintes de votre table, et tourner le dos à plus tard, ce qui est également idéal pour les performances. Comme toujours en fonction de vos besoins.

    Aussi, vous ne voulez extraire springbatch qui est conçu pour le traitement par lot.

    +1 pour le Printemps Lot.
    "normalement, les bases de données ont des solutions optimisées pour les importations comme ça" oui mais dans cette tâche, nous avons besoin de faire un peu de calcul avant d'insérer ou de mettre à jour
    Exporter les données, effectuer des calculs et de créer un fichier d'importation.

    OriginalL'auteur dr jerry

  3. 0

    Autant que je sache,le Pont JDBC utilise synchronisé des méthodes pour sérialiser tous les appels ODBC donc l'utilisation de plusieurs threads ne vous donnera aucun gain de performance, à moins que cela renforce votre application elle-même.

    Où veut-il dire "ODBC"?
    Ah oui, j'ai travaillé beaucoup avec JDBC-ODCB pont dernièrement que j'ai presque oublié qu'il y a le pilote natif des implémentations trop 🙂

    OriginalL'auteur Tobi

  4. 0

    Je suis pas du tout familier avec JDBC mais en ce qui concerne le multithreading peu de votre question, ce que vous devez garder à l'esprit est que le traitement parallèle repose sur la division du problème en morceaux qui sont indépendants l'un de l'autre et d'une certaine manière de les mettre ensemble (leur sortie). Si vous ne connaissez pas le sous-jacent des dépendances entre les tâches que vous pourriez finir par avoir vraiment bizarre erreurs/exceptions dans votre code. Pire encore, il pourrait s'exécutent sans problème, mais les résultats peuvent être de vraies valeurs. Le Multi-threading est un travail délicat, dans une façon amusante d'apprendre (au moins je le pense), mais la douleur dans le cou quand les choses vont vers le sud.

    Voici quelques liens qui pourraient fournir des informations utiles:

    Si vous êtes sérieux au sujet de mettre des efforts pour entrer dans le multi-threading, je peux vous recommander GOETZ, BRIAN: JAVA SIMULTANÉITÉ, super livre vraiment..

    Bonne chance

    OriginalL'auteur posdef

  5. 0

    J'ai eu un tâche similaire. Mais dans mon cas, toutes les tables étaient pas liés les uns aux autres.

    ETAPE 1:
    À l'aide de SQL Loader(Oracle) pour le téléchargement des données dans la base de données(très rapide), OU de toute autre mise à jour en bloc outils pour votre base de données.

    ETAPE 2:
    L'exécution de chaque processus de transfert dans un autre thread(pour les tâches distinctes) et dans un seul fil pour tâches connexes.

    P. S. Vous pourriez identifier les différents inter-liées à un emploi dans votre application et de les classer dans des groupes; et de l'exécution de chaque groupe dans des threads différents.

    Les liens pour exécuter votre place:

    JAVA Threading
    suivez le dernier exemple dans le lien ci-dessus(Exemple: Partitionnement d'un gros groupe avec plusieurs threads)

    SQL Loader peut considérablement améliorer les performances

    OriginalL'auteur Pravat Panda

  6. 0

    Le moyen le plus rapide que j'ai trouvé pour insérer un grand nombre d'enregistrements dans Oracle est avec les opérations de matrice. Voir le "setExecuteBatch" la méthode, qui est spécifique à OraclePreparedStatement. Il est décrit dans l'un des exemples ici:
    http://betteratoracle.com/posts/25-array-batch-inserts-with-jdbc

    OriginalL'auteur Jeff Grigg

  7. 0

    Si le Multi threading ne ferait que compliquer votre travail, vous pourriez aller avec Async messagerie. Je ne suis pas pleinement conscients de ce que vos besoins sont, donc, ce qui suit est ce que je vois actuellement.

    1. Créer un lecteur de fichiers java dont le but est de lire le fichier biz et mettre des messages dans la file d'attente JMS sur le serveur. Ce pourrait être une simple Java avec static void main()
    2. Consommer les messages JMS dans le Message driven beans(Vous pouvez définir la limite sur le nombre de haricots à être créé dans la piscine, 50 ou 100 selon le besoin) si vous avez plusieurs serveurs, c'est bien, votre travail est maintenant divisé en plusieurs serveurs.
      1. Chaque ligne de données de manière asynchrone réparties sur 2 serveurs et 50 fèves sur chaque serveur.

    Vous n'avez pas à traiter avec des fils dans l'ensemble du processus, de JMS est idéal parce que vos données sont à l'intérieur d'une transaction, si quelque chose tombe en panne avant de vous envoyer un accusé de réception au serveur, le message sera envoyé de nouveau à la consommation, la charge sera répartie entre les serveurs sans vous faire quelque chose de spécial comme les multi-threading.

    Aussi, le printemps est de fournir printemps-lot, ce qui peut vous aider. http://docs.spring.io/spring-batch/reference/html/spring-batch-intro.html#springBatchUsageScenarios

    OriginalL'auteur Zeus