Est-il rien de plus rapide que SqlDataReader dans .NET?

J'ai besoin de charger une colonne de chaînes à partir de la table sur SqlServer dans un Tableau en mémoire à l'aide de C#.
Est-il un moyen plus rapide que de les ouvrir SqlDataReader et boucle à travers elle.
La Table est grande et que le temps est critique.

MODIFIER
Je suis en train de construire .dll et l'utiliser sur le serveur pour certaines opérations sur la base de données. Mais il est trop lente pour l'instant. Si c'est plus rapide que ce que j'ai à la refonte de la base de données. J'difficile il y a peut être une solution pour augmenter la vitesse truc.

  • je ne le pense pas.
InformationsquelleAutor watbywbarif | 2010-09-16
  1. 51

    Lecteur De Données

    Sur l'accès le plus rapide, vous obtiendrez de SQL est avec le SqlDataReader.

    Profil il

    Ça vaut réellement le profilage où votre problème de performance. Généralement, lorsque vous pensez que le problème de performance, est avéré être tout à fait tort, après que vous avez profilé elle.

    Cela pourrait être par exemple:

    1. Le temps... la requête à exécuter
    2. Le temps... les données nécessaires à la copie de l'ensemble du réseau/processus boundry
    3. Le temps... .Net prend pour charger les données dans la mémoire
    4. Le temps... votre code nécessaire pour faire quelque chose avec elle

    De profilage de chacun de ces éléments dans l'isolement pour vous donner une meilleure idée de l'endroit où votre goulet d'étranglement. Pour le profilage de votre code, il y a un l'excellent article de Microsoft

    Cache

    La chose à regarder pour améliorer les performances est de travailler sur la si vous avez besoin pour charger toutes les données à chaque fois. La liste (ou une partie) être mis en cache? Jetez un oeil à la nouvelle Système.Moment de l'exécution.La mise en cache espace de noms.

    De réécriture T-SQL

    Si vous êtes en train de faire purement opérations sur les données (comme votre question le suggère), vous pouvez réécrire votre code qui utilise les données pour être en T-SQL et s'exécutent en mode natif sur SQL. Cela a le potentiel d'être beaucoup plus rapide, que vous allez travailler avec les données directement et de ne pas les déplacer sur.

    Si votre code a beaucoup de logique procédurale, vous pouvez essayer de mélanger T-SQL avec L'Intégration du CLR vous donnant les avantages des deux mondes.

    Beaucoup cela vient de la complexité (ou plus nature procédurale) de votre logique.

    Si tout le reste échoue

    Si tous les domaines sont optimales (ou au plus près), et de votre conception est sans faute. Je ne serais même pas entrer dans la micro-optimisation, je venais de jeter le matériel à elle.

    Ce matériel? Essayez le la fiabilité et analyseur de performances pour savoir où le col de la bouteille est. Le plus probable de la place pour le problème que vous décrivez disque dur ou RAM.

    • J'ai testé quelque chose, SqlDataReader est évidemment plus rapide que le DataSet 😉 Oui, le temps de chargement est de frapper le rendement pire.
    • Et im ne suis pas envoyer au client .dll est utilisé sur la même machine que le serveur pour certains à l'usage interne.
    • Modifié pour correspondre à la mise à jour de question.
    • +1 pour "réécrire comme T-SQL". L'idéal d'une requête est celle qui ne récupère absolument nécessaire de données. Si vous êtes à la récupération de 100k lignes à l'application cliente, puis le traitement, peut être devriez-vous revoir votre logique.
    InformationsquelleAutor badbod99
  2. 19

    Si SqlDataReader n'est pas assez rapide, peut-être vous devriez stocker vos affaires ailleurs, comme un (en mémoire cache.

    • Accord - pouvez-vous charger les données à l'avance et effectuer une itération à partir d'une collection dans la mémoire?
    • +1 - une couche de mise en cache ou dans la mémoire de la base de données est le chemin à parcourir.
    InformationsquelleAutor Steven
  3. 17

    Pas. Il est en fait non seulement le moyen le plus rapide - il est le SEUL (!) façon. Tous les autres mécanismes d'utiliser à l'INTERNE un DataReader de toute façon.

    • Je me demandais si c'était le cas.
    InformationsquelleAutor TomTom
  4. 9

    Je soupçonne que SqlDataReader est à peu près aussi bon que vous allez obtenir.

    • Ha! Serait soit de la downvoters nous expliquer quel est le problème avec cette réponse?
    InformationsquelleAutor LukeH
  5. 5

    SqlDataReader est le moyen le plus rapide. Assurez-vous d'utiliser les obtenir par ordinale méthodes plutôt que par le nom des colonnes. par exemple, GetString(1);

    Aussi valable, c'est d'expérimenter avec MinPoolSize dans la chaîne de connexion de sorte qu'il y a toujours quelques connexions dans le pool.

    • Pouvez-vous expliquer plus sur MinPoolSize, je ne vois pas en quoi cela devrait aider?
    • Dans .Net DB connections sont renvoyés vers un pool de connexion après avoir été fermé et puis finalement le sous-jacent de connexion SQL server est fermé après une période d'inactivité. Cela génère la connexion et la déconnexion des événements. Dans certains cas (peu fréquents appels de service web), il peut être bénéfique d'en avoir toujours prêt connexions dans la piscine pour faire face à la première demande rapidement plutôt que d'avoir à ouvrir une nouvelle connexion avec le serveur SQL.
    InformationsquelleAutor softveda
  6. 3

    Le SqlDataReader sera le moyen le plus rapide.
    Optimiser l'utilisation de l'informatique, par l'aide de la méthode Getxxx , qui prend un nombre en paramètre.

    Si elle n'est pas assez rapide, voir si vous pouvez modifier votre requête. Mettre une couverture d'index sur la colonne (s) que vous souhaitez récupérer. Ce faisant, Sql Server n'a qu'à lire l'index, et ne pas avoir à aller à la table directement à retrouver toutes les infos nécessaire.

    • Requête n'est qu'une sélection de colonne, il n'y a pas de place pour l'optimisation de là, seulement à la refonte de la base de données ;(
    • un indice sera toujours aider, même sur une seule colonne, sélectionnez
    • J'ai vérifié, il est déjà Indexé.
    • Avez-vous créé un indice qui ne contient que la seule colonne de la sélection sur les?
    • oui, j'ai ce du début
    InformationsquelleAutor Frederik Gheysels
  7. 2

    Ce sujet de la transformation d'une colonne de lignes à une seule rangée de colonnes, et ayant une seule rangée de lire? SqlDataReader dispose d'une optimisation de la lecture d'une seule ligne (System.Data.CommandBehavior.SingleRow argument de ExecuteReader), alors peut-être il peut améliorer la vitesse un peu.

    Je vois plusieurs avantages:

    • Seule rangée d'amélioration,
    • Pas besoin d'accéder à un tableau à chaque itération (reader[0]),
    • Le clonage d'un tableau (reader) à un autre, peut être plus rapide qu'une boucle sur les éléments et l'ajout d'un nouveau tableau.

    D'autre part, il a un inconvénient à force de base de données SQL pour faire plus de travail.

    • Cela semble étrange, mais c' .dll est utilisé sur le serveur, il semble que je reçois des données rapidement par SqlDataReader que par la construction d'une ligne de SQL.
    InformationsquelleAutor Arseni Mourzenko
  8. 1

    "Fournit un moyen de lecture d'un flux avant uniquement de lignes à partir d'une base de données SQL Server" C'est l'utilisation de SqlDataReader à partir de MSDN . La structure de Données derrière SqlDataReder seulement permettre la lecture à l'avant, il est optimisé pour la lecture de données dans une seule direction. À mon avis, je veux utiliser SqlDataReader que DataSet pour la simple lecture des données.

    InformationsquelleAutor coolkid
  9. 1

    Vous avez 4 séries de frais généraux
    - L'Accès Au Disque
    - .net code (cpu)
    - Code SQL server (cpu)
    - Le temps de basculer entre le code managé et non managé (cpu)

    Tout d'abord 

    select * where column = “junk”

    assez rapide pour vous, si ce n'est la seule solution est de rendre le disque plus rapide. (Vous pouvez obtenir les données à partir de SQL Server plus rapide qu'il peut le lire)

    Vous pourriez être en mesure de définir une fonction Sql Server en C#, puis exécutez la fonction sur la colonne; désolé, je ne sais pas comment le faire. Cela peut être plus rapide qu'un lecteur de données.

    Si vous avez plus d'un CPU, et vous le savez une valeur au milieu de la table, vous pouvez essayer d'utiliser plus d'un thread.

    Vous pouvez être en mesure d'écrire quelques TSQL qui combine toutes les chaînes de caractères en une chaîne unique à l'aide d'un séparateur de vous le savez est sûr. Diviser ensuite la chaîne de nouveau en C#. Cela permettra de réduire le nombre d'allers-retours entre les administrés et non administrés code.

    • Je ne sais pas comment aurait plus de fils d'accélérer le chargement des données, comme SqlDataReader lectures séquentielles?
    • Chaque thread peut utiliser son propre SqlDataReader, à condition que vous pouvez quelque chose que vous pouvez être dans le "où" pour définir les données entre les threads.
    • Bonne idée, peut-être que cela peut vous aider. +1
    InformationsquelleAutor Ian Ringrose
  10. 1

    Certains de surface des choses à considérer qui peuvent influer sur la vitesse (en plus d'un lecteur):

    1. Base De Données Optimisation Des Requêtes
      • OrderBy est cher
      • Distinct est cher
      • RowCount est cher
      • GroupBy est cher
      • etc. Parfois, vous ne pouvez pas vivre sans ces choses, mais si vous pouvez gérer certaines de ces choses dans votre code C# au lieu de cela, il peut être plus rapide.
    2. Table de base de données d'indexation (pour les débutants, sont les domaines dans votre clause where indexé?)
    3. Table de base de données les Types de données (êtes-vous à l'aide de la plus petite possible, compte tenu des données?)
    4. Pourquoi êtes-vous convertir le datareader pour un tableau?
      • par exemple, serait-il servir aussi bien de créer un adaptateur/datatable que vous serait alors pas besoin de les convertir à un tableau?
    5. Avez-vous regardé dans Entity Framework? (peut-être plus lent...mais si vous êtes à court d'options, peut-être la peine de chercher dans juste pour faire sûr)

    Juste au hasard pensées. Pas sûr de ce qui pourrait vous aider dans votre situation.

    • Commande, Regroupement, etc. les plus rapides à poignée en C# qu'en SQL? Cela ne semble pas probable, mais vous savez peut-être quelque chose que je ne.
    InformationsquelleAutor おたく
  11. 0

    Si la réactivité est un problème de chargement d'un grand nombre de données, regardez en utilisant les méthodes asynchrones - BeginReader.

    J'en utilise tout le temps pour le remplissage de grands éléments d'interface graphique en arrière-plan, tandis que l'application continue à être réactif.

    Vous n'avez pas dit la taille exacte de ces données est, ou pourquoi vous chargez-le dans un tableau.

    Souvent, pour de grandes quantités de données, vous voudrez peut-être laisser dans la base de données ou de laisser la base de données ne le levage lourd. Mais nous aurions besoin de savoir quel type de traitement que vous faites, qui est un besoin dans un tableau à la fois.

    • La réactivité n'est pas le problème.
    InformationsquelleAutor Cade Roux