Améliorer l'INSÉRER DANS - DE SÉLECTIONNER, de Requête SQL

J'ai trouvé que, si vous avez beaucoup d'INSÉRER des instructions qui sont exécutées dans l'ordre, vous pouvez améliorer les performances par l'ajout d'un "ALLER" déclaration après chaque xxxx nombre d'instructions insert:

...
INSERT INTO Table ( ... ) VALUES ( ... )
INSERT INTO Table ( ... ) VALUES ( ... )
INSERT INTO Table ( ... ) VALUES ( ... )
GO
INSERT INTO Table ( ... ) VALUES ( ... )
INSERT INTO Table ( ... ) VALUES ( ... )
...

Une autre possibilité peut-être, est de s'assurer que votre INSERT INTO .. SELECT DE la requête n'a pas d'insérer le tout en une seule fois, au lieu d'utiliser une sorte de technique d'échange:

INSERT INTO Table ...
SELECT ...
FROM OtherTable WHERE Id > x and Id < y

Ok, il y a quelques questions fondamentales.

1. I\O - l'Insertion dans une table lors de la lecture à partir d'une autre table plus susceptibles de causer la contention de disque si les tables ne sont pas sur des disques séparés. Mettre l'adversaire de tableaux sur physiquement les différentes broches.

2. De Journal de Transaction, vous devez Vous assurer que votre journal des transactions est sur son propre disque, ou de travailler dans des transactions plus petites (quelques milliers de lignes à la fois) ou de l'utilisation de la PCA\Bulk Insert qui n'est pas connecté.

3. Index cluster - Si vous insérez l'ensemble de ces lignes dans une table cible, et c'est l'index cluster(l'ordre physique des données sont écrites sur le disque) n'est pas écrit de manière séquentielle, les e /s disque exigences de passer par le toit à cause de la page se divise et une ré-allocation. Une solution facile peut-être de créer un index cluster sur la table de destinataires qui est une séquence de graines de clé. Cela permettra d'assurer que vous obtenez les écritures séquentielles dans la table, et presque toujours à la fin.

4. Fichier d'Extension Assurer que vous avez SQL définie à l'augmenter de fichiers à un taux décent, de l'ordre de 10% ou plus. Sinon, il faudra constamment redimensionner les fichiers et zéro sur le disque. Il existe des moyens pour éviter d'avoir à remettre à zéro le disque en tant que bien, comme permettant à l'essentiel Opération de Fichier autorisation dans vos stratégies de groupe pour le Service Sql utilisateur.

Franchement, d'autres que cela et quelques autres suggestions, il est très peu probable que vous faire un insert avec des millions de lignes dans une transaction n'est vraiment rapide. Si vous avez ce par le biais d'Insertion en bloc, il serait considérablement plus rapides, mais il pourrait ne pas être ce dont vous avez besoin à partir d'un point de vue application.

Quelques bonnes réponses ici.

Voudrais juste ajouter que si vous avez des indices sur la table de destination ils vont ralentir le fonctionnement. Cependant, la reconstruction de l'index peut parfois prendre beaucoup de temps si vous ne la chute de créer la technique.

Si vous ne voulez pas laisser tomber l'index, utilisez un ORDER BY dans votre SELECT qui correspond à la destination index cluster, ce qui semble aider (probablement contribue à réduire les fractionnements de page).

en vrac charge par l'aide d'un fichier et puis bcp/INSERTION en bloc ou par lots en lots de 5 km ou si

Un autre moyen que nous avons utilisé dans le passé est de créer une table temporaire avec les clés primaires, nous voulons déplacer et utiliser la boucle while. De cette façon, vous pouvez le faire dans une sorte de bloc de la mode afin de vous éviter de la grande opération de surcharge si vous avez annulé et qu'il a du faire reculer.

Fondamentalement, ce que vous finissez par faire un insert into nom_table (...) sélectionner (...) du nom de la table où la clé primaire dans (sélectionnez haut 10000 clé de temptable)

le top 10000 vous voulez dans une deuxième ensemble de résultats de sorte que vous pouvez les supprimer de la table temporaire afin de ne pas se faire traiter de nouveau.

Encore un autre moyen serait d'utiliser les curseurs pour réduire le nombre d'enregistrements processus à la fois.

Une autre méthode de boucle serait de faire quelque chose comme ceci dans une boucle while.

declare @stop comme int
set @stop = (select count(primaryKey) from tableName où primaryKey pas dans destinstiontable)

while (@stop > 0)
begin transaction

insérer dans destinationTable (...)
sélectionnez (...) à partir de sourcetable où primaryKey pas dans (sélectionnez primarykey de destinationtable)

commettre

set @stop = (select count(primaryKey) from tableName où primaryKey pas dans destinstiontable)
fin

Pas le plus efficace mais il devrait fonctionner et devrait vous permettre de tenir le journal des transactions vers le bas. Sauf si vous en avez besoin, assurez-vous également d'utiliser le pas de verrouillage de mot-clé afin de ne pas bloquer les autres opérations lors de ce grand déplacement (sauf si vous utilisez BCP ou DTS, car ils sont beaucoup beaucoup plus rapide).

Certains de ce qui a été dit, c'est probablement votre meilleur pari si. L'utilisation de la PCA, DTS, ou certains autres en vrac de l'outil. Si vous pouvez supprimer les index, il va rendre les choses vont beaucoup plus vite.