Tâche de flux de données dans SSIS est très lent par rapport à l'écriture de la requête sql à Exécuter la tâche SQL

Je suis nouveau sur SSIS et d'avoir une paire de questions

  1. Je veux transférer 1,25,000 de lignes d'une table à l'autre dans la même base de données. Mais Quand j'utilise Data Flow Task, c'est prendre trop de temps. J'ai essayé d'utiliser un ADO NET Destination ainsi que d'une OLE DB Destination mais la performance était inacceptable. Quand j'ai écrit l'équivalent de la requête à l'intérieur d'un Execute SQL Task il a fourni un rendement acceptable. Pourquoi une telle différence dans la performance.

    INSERT INTO table1 select * from table2

  2. Basé sur la première observation, j'ai changé mon forfait. Il est exclusivement composé de Execute SQL Tasks soit directement requête ou une procédure stockée. Si je peux résoudre mon problème en utilisant uniquement les Execute SQL Task, alors pourquoi aurait-on utiliser SSIS ainsi que de nombreux documents et articles indiquer. J'ai vu qu'il est fiable, facile à entretenir et relativement rapide.
Avez-vous essayé de briser le transfert de blocs, par exemple 10K lignes à la fois? La journalisation peut être traumatisant pour les grands de simples opérations.
alors que l'aide de la tâche de flux de données, il se casse la ligne de la somme sur 10k partition et insérez ensuite, est-ce la cause de ralentir?
Avez-vous sélectionnez "chargement rapide" dans le oledb destination?
ouais j'ai utilisé le chargement rapide aussi. Mais après la lecture de la réponse posté par billinkc, je le laisse rester avec l'ensemble de la tâche d'Exécution SQL et l'exécuter par l'Agent SQL. Je suis maintenant convaincu !

OriginalL'auteur Teju MB | 2013-04-24

  1. 22

    Différence de performance

    Il y a beaucoup de choses qui pourraient provoquer l'exécution d'une "droite" la tâche de flux de données et l'équivalent de la Tâche d'Exécution SQL.

    1. De la latence du réseau. Vous effectuez insérer dans le tableau a tableau b sur le même serveur et de l'instance. Dans une Tâche d'Exécution SQL, que les travaux seraient exécutés sur la même machine. J'ai pu exécuter un package sur le serveur B que les requêtes de 1,25 M de lignes à partir d'Un serveur qui sera ensuite diffusé sur le réseau vers le serveur B. Que les données seront ensuite diffusés retour serveur pour l'opération d'INSERTION. Si vous avez un mauvais réseau, à l'échelle des données-en particulier les types binaires, ou tout simplement une grande distance entre les serveurs (serveur est en NOUS, le serveur B est dans l'Inde), il y aura de mauvaises performances
    2. De la mémoire de la famine. En supposant que le paquet s'exécute sur le même serveur que la cible/source base de données, il peut encore être lent que la Tâche de Flux de Données est un moteur in-memory. Sens, toutes les données qui va à l'écoulement de la source à la destination d'entrer dans la mémoire. Le plus de mémoire SSIS pouvez obtenir, le plus vite il va aller. Cependant, il va devoir combattre les OS pour les allocations de mémoire ainsi que SQL Server. Même si SSIS, SQL Server Integration Services, il ne s'exécute pas dans le même espace mémoire que la base de données SQL Server. Si votre serveur dispose de 10 go de mémoire et le système d'exploitation utilise 2 GO et SQL Server a coûté 8 GO, il y a peu de place pour SSIS pour fonctionner. Il ne peut pas demander à SQL Server à renoncer à une partie de sa mémoire pour l'OS sera à la page tandis que des filets de données à déplacer grâce à une constriction des données pipeline.
    3. De mauvaise qualité à destination. Selon la version de SSIS que vous utilisez, le mode d'accès par défaut pour une Destination OLE DB a été "de la Table ou de la Vue." C'était un cadre agréable afin de tenter de prévenir un faible niveau de verrouillage de l'escalade à un verrou de table. Toutefois, cela entraîne en ligne par l'agonie insertions de lignes (1,25 M unique d'insertion des déclarations d'être envoyé). Voilà qui contraste avec l'ensemble de la Execute SQL Tasks INSÉRER DANS. Les versions plus récentes de SSIS par défaut de la méthode d'accès à la "Rapide" de la version de la destination. Cela se comporte beaucoup plus comme le jeu de base équivalent et d'obtenir de meilleurs performances.
    4. Transformation de Commande OLE DB. Il y a un Destination OLE DB et certaines personnes confondu avec le Transformation de Commande OLE DB. Ce sont deux très différents composants avec différentes utilisations. Le premier est un destination et consomme toutes les données. Il peut aller très vite. Ce dernier est toujours RBAR. Il va effectuer singleton opérations pour chaque ligne qui circule à travers elle.
    5. De débogage. Il existe une surcharge de l'exécution d'un package dans les OFFRES/SSDT. Que l'exécution d'un package s'amalgament en DTS de Débogage de l'Hôte. Que peut provoquer un "non négligeable" ralentissement de l'exécution du package. Il n'y a pas beaucoup le débogueur peut faire à ce sujet une Tâche d'Exécution SQL-il fonctionne ou ça ne marche pas. Un flux de données, il y a beaucoup de mémoire, il peut inspecter, surveiller, etc ce qui réduit la quantité de mémoire disponible (voir pt 2) ainsi que la ralentit en raison d'un assortiment de contrôles de performance. Pour obtenir une mesure plus précise de comparaison, toujours exécuter des packages à partir de la ligne de commande (dtexec.exe fichier /Monpaquet.dtsx) ou à l'annexe de l'Agent SQL Server.

    La conception de l'emballage

    Il n'y a rien d'intrinsèquement mauvais avec un package SSIS qui est juste Execute SQL Tasks. Si le problème est facilement résolu en exécutant des requêtes, puis j'avais renoncer SSIS entièrement et écrire la procédure stockée appropriée(s) et horaire avec l'Agent SQL et faire.

    Peut-être. Que j'aime toujours sur l'utilisation de SSIS, même pour les cas "simples", comme ce est qu'il ne peut assurer l'uniformité du produit. Qui peut ne pas sembler beaucoup, mais à partir d'un point de vue de l'entretien, il peut être agréable de savoir que tout c'est-marinage avec les données contenues dans ces source contrôlée par des packages SSIS. Je n'ai pas à vous rappeler ou de train de la nouvelle personne que les tâches A-C sont "simples", de sorte qu'ils sont stockés procs appelé à partir d'une tâche de l'Agent SQL. Tâches D-J ou K, sont même plus simple si c'est juste "en ligne" des requêtes dans les travaux de l'Agent pour le chargement de données et puis nous avons des forfaits pour le reste des choses. Sauf pour le Service Broker chose et certains services web, ceux qui sont trop mise à jour de la base de données. Plus je vieillis et plus je obtenir de l'exposé, le plus que je peux trouver de la valeur dans un uniforme, même si exagéré, à l'approche de la distribution de la solution.

    La Performance n'est pas tout, mais la SSIS de l'équipe a établi l'ETL repères à l'aide de SSIS, donc il a certainement la capacité de pousser des données dans un hurry.

    Que cette réponse s'allonge, je serais tout simplement laisser que les avantages de SSIS et le Flux de Données de plus de droite TSQL sont indigènes, hors de la zone

    • journalisation
    • erreur de manipulation
    • configuration
    • parallélisation

    Il est difficile de battre ces pour mon argent.

    merci pour ces lucide explication et la solution. Je vous remercie beaucoup.
    J'en ai fini avec SSIS, mais quand je le programmer à partir de sql server, il ne parvient pas à exécuter, veuillez consulter ce lien pour mon post. stackoverflow.com/questions/16766416/...

    OriginalL'auteur billinkc

  2. 0

    Si vous êtes de Passage Variables SSIS en tant Que Paramètre de mappage de paramètres de l'Onglet et assigner des valeurs à Ces Variables par l'Expression, Alors Votre Tâche d'Exécution SQL consommer beaucoup de temps dans l'Évaluation de cette Expression.
    L'utilisation de l'Expression de la Tâche(Séparément) Pour affecter des Variables au Lieu d'utiliser l'Expression dans la Variable Tab.

    OriginalL'auteur ADIL