Meilleur moyen de l'accroissement de la charge de ssis
Je suis de 600 000 lignes tous les jours de ma source, et j'ai besoin de les jeter dans la destination SQL Server, ce qui serait un chargement incrémentiel.
Maintenant, en tant que la destination de la taille de la table, est susceptible d'augmenter de jour en jour, ce qui serait la meilleure approche pour le chargement incrémentiel. J'ai quelques options dans mon esprit:
- De Recherche Tâche
- Jointure De Fusion
-
SCD
etc..
Veuillez me suggérer la meilleure option qui va bien travailler dans de chargement incrémentiel.
Vous devez vous connecter pour publier un commentaire.
Regarder Andy Leonard excellent Escalier à Intégration de Services série ou Todd McDermid de vidéos sur la façon d'utiliser le libre SSIS Dimension de Fusion SCD composant chacun examinera comment le faire beaucoup mieux que j'ai pu énumérer dans cette zone.
Jointure de fusion est un énorme problème de performance car elle nécessite de tri de tous les dossiers à l'avance et ne doit pas être utilisé pour cela.
Nous traiter de nombreux de plusieurs millions d'enregistrer des fichiers par jour et généralement les placer dans une mise en scène de la table et de faire un hachage de comparer les données en notre Changement de données de suivi des tables pour voir si les données sont différentes de ce qui est sur la prod et ensuite seulement de charger les nouveaux ou ceux qui sont différents. Parce que nous faisons la comparaison à l'extérieur de notre base de données de production, nous disposons de très peu d'impact sur la prod car uinstead de vérification des millions de documents à l'encontre de prod, nous ne nous occupons que les 247 qu'il doit avoir. En fait, pour notre plus achalandé du serveur, tout le traitement se passe sur un serveur distinct, sauf pour la dernière étape qui va à la prod.
si vous avez seulement besoin de les insérer, il ne marche pas vraiment de l'importance.
si vous avez besoin de vérifier quelque chose comme, si elle existe, la mise à jour d'autre insert, je suggère la création d'un oleDbSource lorsque vous interrogez votre 600.000 lignes et de vérifier si elles existent avec une recherche de la tâche sur la source de données existante. Depuis la mise en œuvre de la source de données est (ou tendent à l'être) SNOWPARK, être prudent avec la façon dont vous configurez le mode de mise en cache. je voudrais aller avec cache partiel avec une certaine limite de mémoire commandés par l'ID que vous recherchez (ce detais est très important sur le fonctionnement de la mise en cache fonctionne)