À l'aide d'une table de base de données comme une file d'attente

Je veux utiliser une table de base de données comme une file d'attente. Je veux insérer en elle et de prendre des éléments dans l'ordre inséré (FIFO). Mon compte principal est la performance parce que j'ai des milliers de ces opérations à la seconde. Donc, je veux utiliser une requête SQL qui me donne le premier élément sans chercher l'ensemble de la table. Je n'ai pas supprimer une ligne quand je l'ai lu.
Ne SÉLECTIONNEZ HAUT 1 ..... de l'aide ici?
Dois-je utiliser une spéciale index?

Voir cet article pour une bonne description de la manière d'implémenter une file d'attente dans SQL Server: mssqltips.com/sqlservertip/1257/...
à l'aide de ligne de base de la logique tels que le traitement de la file d'attente dans sql server est un énorme détournement de ressources.. l'utilisation de sql pour la logique

InformationsquelleAutor Shayan | 2010-02-01

31

Je voudrais utiliser une IDENTITÉ champ comme clé primaire pour fournir l'unique et l'incrémentation de l'ID pour chaque élément de file d'attente, et le bâton d'un index cluster. Cela représenterait de l'ordre dans lequel les éléments ont été mis en file d'attente.

À conserver les éléments dans la file d'attente de table tout en vous traiter, vous auriez besoin d'un champ "statut" pour indiquer l'état actuel d'un élément particulier (par exemple, 0=en attente, 1=en cours de traitement, 2=traitées). Cela est nécessaire pour prévenir un élément de traiter deux fois.

Lors du traitement d'éléments dans la file d'attente, vous auriez besoin de trouver l'élément suivant dans la table PAS actuellement en cours de traitement. Cela aurait besoin d'être dans une telle façon afin d'éviter que plusieurs des processus de la cueillette jusqu'à la même élément de processus en même temps que démontré ci-dessous. Remarque le les indicateurs de table UPDLOCK et READPAST laquelle vous devez être au courant lors de la mise en œuvre des files d'attente.

par exemple à l'intérieur d'une procédure stockée, quelque chose comme ceci:
```
DECLARE @NextID INTEGER

BEGIN TRANSACTION

-- Find the next queued item that is waiting to be processed
SELECT TOP 1 @NextID = ID
FROM MyQueueTable WITH (UPDLOCK, READPAST)
WHERE StateField = 0
ORDER BY ID ASC

-- if we've found one, mark it as being processed
IF @NextId IS NOT NULL
    UPDATE MyQueueTable SET Status = 1 WHERE ID = @NextId

COMMIT TRANSACTION

-- If we've got an item from the queue, return to whatever is going to process it
IF @NextId IS NOT NULL
    SELECT * FROM MyQueueTable WHERE ID = @NextID
```
Si le traitement d'un élément échoue, vous voulez être en mesure d'essayer de nouveau plus tard? Si oui, vous aurez besoin de réinitialiser le statut de nouveau à 0 ou quelque chose. Qui demanderont plus de réflexion.

Alternativement, ne pas utiliser une table de base de données comme une file d'attente, mais quelque chose comme MSMQ - juste pensé que je jetterais que dans le mix!
- Pourquoi devrais-je les séparer select id from select *?
- Vous n'avez pas, vous pouvez charger toutes les valeurs que vous avez besoin dans des variables en même temps que la première sélection, puis les retourner à la fin. Aussi, j'ai fait "SELECT *" pour des raisons de simplicité - il suffit de retourner les champs dont vous avez réellement besoin.
- J'aimerais garder des processus de champ dans une autre table avec une clé étrangère de la table afin de minimiser le verrouillage de l'effet des différentes parties du programme. Cette méthode aide? Ce type d'index dois-je utiliser pour cela?
- Vous pouvez utiliser la file d'attente de la table comme un mécanisme pour la mise en queue, et de stocker plus de détails sur les spécificités de ce processus dans une table liée à l'écart de la file d'attente centrale de la table. Cette approche ne peut fonctionner correctement, surtout si les champs séparés doivent être mis à jour pendant le traitement. Peut également être agréable si vous avez de différents types (schéma) de messages dans la file d'attente.
InformationsquelleAutor AdaTheDev
7

Si vous ne retirez pas votre traitées lignes, alors vous allez avoir besoin d'une sorte de drapeau qui indique qu'une ligne a déjà été traité.

Mettre un index sur le drapeau, et sur la colonne que vous allez à l'ordre par.

Partition de votre table sur le drapeau, de sorte que le dequeued les transactions ne sont pas encombrer vos requêtes.

Si vous voulez vraiment obtenir 1.000 messages à chaque seconde, il en résulterait 86.400.000 lignes un jour. Vous pouvez penser d'une certaine manière de nettoyer les vieilles lignes.
- Qu'est ce qu'un indicateur?
- Par flag je veux dire un certain colonne rappelez-vous, si une ligne a déjà été traité par votre client.
- Je crois qu'il voulait dire que vous pouvez ajouter une colonne à votre tables - peut-être Retiré - qui permettra de maintenir le statut de chaque transaction. Puisque vous n'êtes pas supprimer les lignes une fois que vous retirer, vous devez avoir un moyen de savoir ce que les opérations de l'ignorer. Vous pouvez être un champ de bits, avec 0 pour en file d'attente et 1 pour retiré.
- ... et puis la partition de la table au cours de ce champ, de sorte que le dequeued les transactions ne sont pas encombrer vos requêtes.
- Schmitt: j'ai mis tes mots dans ma réponse que je n'ai pas trouvé mieux. Espérons que vous n'avez pas l'esprit...
- bien fait 🙂
- "La question qu'est ce qu'un drapeau" est tout au sujet du contexte. Dans le contexte de la relation de conception de base de données, "flag" est un mot de quatre-lettre.
InformationsquelleAutor Peter Lang
4

Tout dépend de votre moteur de base de données/mise en œuvre.

Pour moi simple, les files d'attente sur les tables avec des colonnes suivantes:
```
id / task / priority / date_added
```
travaille habituellement.

J'ai utilisé de la priorité et de la tâche de groupe de tâches et en cas de doublé tâche j'ai choisi celui avec la plus grande priorité.

Et ne vous inquiétez pas - pour des bases de données modernes "des milliers" n'est rien de spécial.
- Quelles sont-elles? J'utilise SQL Server 2008.
InformationsquelleAutor bluszcz
3

Ce ne sera pas un problème aussi longtemps que vous utilisez quelque chose pour garder une trace de la date de l'insertion. Voir ici pour la mysql options. La question est de savoir si vous avez uniquement besoin de l'absolu, plus récemment soumis élément ou si vous avez besoin pour effectuer une itération. Si vous avez besoin pour effectuer une itération, puis ce que vous devez faire est de saisir un morceau avec un ORDER BY déclaration, en boucle, et souviens de la dernière datetime de sorte que vous pouvez l'utiliser lorsque vous prenez votre segment suivant.

InformationsquelleAutor David Berger
2

peut-être l'ajout d'une LIMITE=1 pour votre instruction select aiderait ... forçant le retour après un seul match...
- Quelle est la différence avec le TOP 1?
- Je sais que SQL Server peut utiliser le TOP 1 est la même chose que la LIMITE de 1 dans postgres. J'imagine que tous les autres fournisseurs s'accepter l'un ou l'autre.
- Je vais être honnête, je ne savais pas qu'ils étaient équivalents à la même chose ... je n'ai jamais utiliser la syntaxe TOP, seule la LIMITE ... c'est pourquoi j'aime StackOverflow: Même en fournissant une réponse, j'apprends quelque chose de nouveau.
InformationsquelleAutor Reed Debaets
2

Puisque vous n'avez pas supprimer les enregistrements de la table, vous devez disposer d'un indice composite sur (processed, id), où processed est la colonne qui indique si l'enregistrement en cours avaient été traitées.

La meilleure chose serait de créer une table partitionnée pour vos dossiers et de faire de la PROCESSED champ le partitionnement de la clé. De cette façon, vous pouvez garder trois ou plusieurs indices locaux.

Toutefois, si vous avez toujours traiter les dossiers dans id ordre, et n'ont que deux états, la mise à jour de l'enregistrement signifierait tout simplement prendre l'enregistrement de la première feuille de l'index et de l'ajoutant à la dernière feuille

Actuellement traité enregistrement aurait toujours le moins id de tous les enregistrements non traités et le plus grand id de tous les dossiers traités.
- J'aimerais garder des processus de champ dans une autre table avec une clé étrangère de la table afin de minimiser le verrouillage de l'effet des différentes parties du programme.
- @Shayan: cela va fortement influer sur votre sélectionnez la performance. Et vous avez besoin de verrouiller le champ lors du traitement de toute façon.
InformationsquelleAutor Quassnoi
2

Créer un index cluster sur une date (ou auto-incrément) de la colonne. Cela permet de garder les lignes de la table à peu près dans l'ordre d'index et de permettre rapide d'accès par index lorsque vous ORDER BY la colonne indexée. À l'aide de TOP X (ou LIMIT X, selon votre RDMBS) n'aura alors qu'à récupérer les x premiers éléments de l'index.

Performance avertissement: vous devez toujours examiner les plans d'exécution des requêtes (sur données réelles) pour vérifier que l'optimiseur de ne pas faire des choses inattendues. Essayez également de comparer vos requêtes (encore une fois sur des données réelles) pour être en mesure de prendre des décisions éclairées.

InformationsquelleAutor David Schmitt

J'ai eu la même question générale de savoir "comment mettre un tableau dans une file d'attente" et ne pouvait pas trouver la réponse que je voulais n'importe où.

Voici ce que j'ai trouvé pour le Nœud/SQLite/mieux-sqlite3.
Fondamentalement, il suffit de modifier l'intérieur WHERE et ORDER BY clauses pour votre cas d'utilisation.

module.exports.pickBatchInstructions = (db, batchSize) => {
  const buf = crypto.randomBytes(8); // Create a unique batch identifier

  const q_pickBatch = `
    UPDATE
      instructions
    SET
      status = '${status.INSTRUCTION_INPROGRESS}',  
      run_id = '${buf.toString("hex")}',
      mdate = datetime(datetime(), 'localtime')
    WHERE
      id IN (SELECT id 
        FROM instructions 
        WHERE 
          status is not '${status.INSTRUCTION_COMPLETE}'
          and run_id is null
        ORDER BY
          length(targetpath), id
        LIMIT ${batchSize});
  `;
  db.run(q_pickBatch); // Change the status and set the run id

  const q_getInstructions = `
    SELECT
      *
    FROM
      instructions
    WHERE
      run_id = '${buf.toString("hex")}'
  `;
  const rows = db.all(q_getInstructions); // Get all rows with this batch id

  return rows;
};

InformationsquelleAutor Daniel Kaplan

0

Une solution très simple pour ceci afin de ne pas avoir les transactions, les verrous etc consiste à utiliser la variation de mécanismes de suivi (pas de capture de données). Il utilise le contrôle de version pour chaque ajout/mise à jour/supprimer ligne afin que vous puissiez suivre ce que des modifications sont intervenues après une version spécifique.

Donc, vous persistez la dernière version de requête et de nouveaux changements.

Si une requête échoue, vous pouvez toujours revenir en arrière et d'interroger les données à partir de la dernière version.
Aussi, si vous ne voulez pas d'obtenir toutes les modifications avec une requête, vous pouvez obtenir le meilleur ordre n de la dernière version et de stocker la plus grande version que j'avais vous avez eu de la requête à nouveau.

Voir ceci par exemple En utilisant le Suivi des modifications dans SQL Server 2008
- Comment fonctionne le suivi des modifications de vous aider à utiliser une table de base de données comme une file d'attente? Dans une file d'attente, vous voulez obtenir à la prochaine tâche (dans l'ordre FIFO) qui n'a pas déjà été traité, et de s'assurer que l'élément est traitée en une seule fois. Le suivi des modifications résout un tout autre problème: les lignes d'une table ont changé depuis la dernière fois que j'ai interrogé. Je ne vois pas de connexion.
- Bon point de Brian et vous avez raison. J'ai proposé le suivi des modifications, de sorte que la table des files d'attente ne serait pas nécessaire à tous. C'était mon point. Au lieu d'utiliser des déclencheurs (peut-être) ou quelque chose d'autre pour remplir la file d'attente, quelqu'un pourrait utiliser le suivi des modifications des mécanismes pour obtenir des modifications dans les tables source, aussi longtemps que, il que le suivi des modifications ..... Merci pour le commentaire.
InformationsquelleAutor George Mavritsakis

Vous devez vous connecter pour publier un commentaire.