MongoDB 'count()' est très lent. Comment affiner/travailler avec elle?

Je suis actuellement en utilisant MongoDB avec des millions d'enregistrements de données. J'ai découvert une chose qui est assez ennuyeux.

Lorsque j'utilise 'count()' de la fonction avec un petit nombre d'interrogés collecte de données, il est très rapide. Toutefois, lorsque la requête de la collecte de données contient des milliers, voire des millions d'enregistrements de données, l'ensemble du système devient très lent.

J'ai fait en sorte que j'ai répertorié les champs requis.

Personne n'a rencontré une identique chose? Comment faites-vous pour l'améliorer?

InformationsquelleAutor Winston Chen | 2011-10-05
  1. 31

    Il y a maintenant une autre optimisation de la création de leur propre index.

    db.users.ensureIndex({name:1});
db.users.find({name:"Andrei"}).count();

    Si vous avez besoin de quelques comptoirs je suggère de précalculer chaque fois que c'est possible. En utilisant atomique $inc opération et de ne pas utiliser count({}) à tous.

    Mais mongodb les gars qui travaillent dur sur mongodb, donc, count({}) améliorations, ils sont la planification dans mongodb 2.1 selon jira bug.

    • merci pour la réponse. Cependant, disons que je voudrais filtrer des enregistrements de données et de compter le nombre record. Dans ce cas, $inc ne m'aide pas beaucoup, n'est ce pas?
    • Cela dépend de votre filtre. Fournir un exemple, je vais répondre.
    • Je vous remercie. Disons que j'ai des millions d'enregistrements comme ceci:{_id:"hash_code_here", bookname:"Les Quatre Étapes de l'Épiphanie", authoer:"Steven-Gary-Blanc", catégorie:10}. J'ai 1 million de livres dont la catégorie est de 10, et le même que la catégorie 9, 8, 7, etc. J'ai la page avec une fonction recherche qui filtre et montre mes visiteurs tous les livres à la catégorie 10, ou 9, ou 8, ou 7.... La catégorie est censé être l'un des critères dans le filtre. Les visiteurs sont également en mesure d'ajouter en "auteur" critères ou d'autres critères. Comment pourrais-je la mettre en œuvre avec $inc?
    • Veuillez noter que ensureIndex était obsolète depuis la version 3.0. Utilisation createIndex à la place.
    InformationsquelleAutor Andrew Orsich
  2. 10

    Vous pouvez vous assurer que l'index est vraiment utilisé sans aucun accès au disque.

    Disons que vous voulez compter le nombre d'enregistrements avec le nom : "Andrei"

    Vous assurer de l'index sur le nom (comme vous l'avez fait)
    et 

    db.users.find({name:"andrei"}, {_id:0, name:1}).count()

    vous pouvez vérifier que c'est le moyen le plus rapide de compter (sauf avec precomputing) en vérifiant si 

    db.users.find({name:"andrei"}, {_id:0, name:1}).explain()

    affiche un index_only champ est défini sur true.

    Cette astuce va vous assurer que votre requête permettra de récupérer uniquement les enregistrements à partir de la mémoire (index) et non pas à partir du disque.

    • Si MongoDB décide qu'il devrait pas ne index_only pour une opération comme count, par défaut, puis c'est des sons un peu comme un bug pour moi.
    • c'était vrai en 2011, peut-être que cela a changé avec jira.mongodb.org/browse/SERVER-1752
    InformationsquelleAutor kamaradclimber
  3. 6

    Pour moi la solution a été de changer l'indice de éparses.
    Il dépend de la situation spécifique, juste lui donner un essai si vous le pouvez.

    db.Account.createIndex( { "date_checked_1": 1 }, { sparse: true } )

db.Account.find({    
     "dateChecked" : { $exists : true }    
}).count()

    318 milliers d'enregistrements dans la collection

    • 0.31 sec - avec index clairsemé
    • 0.79 sec - avec les non-index clairsemé
    InformationsquelleAutor Vaclav Kohout
  4. 5

    Vous êtes assez bien pas de chance pour l'instant, le comte de mongodb est terrible et ne sera pas obtenir de mieux dans le proche avenir. Voir: https://jira.mongodb.org/browse/SERVER-1752

    De l'expérience, vous devriez assez bien ne jamais l'utiliser, sauf si c'est une chose, quelque chose qui se produit très rarement, ou votre base de données est assez petit.

    Comme @Andrew Orsich a déclaré, à l'utilisation des compteurs à chaque fois que possible (la chute de compteurs mondial de verrou en écriture, mais mieux que count (), peu importe).

    InformationsquelleAutor Travis Reeder