Trouver mongoDB dossiers de lots (à l'aide de mongoid ruby adaptateur)

Si vous êtes une itération sur une collection où chaque enregistrement nécessite beaucoup de traitement (j'.e l'interrogation d'une API externe pour chaque élément), il est possible pour le curseur de délai d'attente. Dans ce cas, vous devez effectuer plusieurs requêtes afin de ne pas laisser le curseur ouvert.

require 'mongoid'

module Mongoid
  class Criteria
    def in_batches_of(count = 100)
      Enumerator.new do |y|
        total = 0

        loop do
          batch = 0

          self.limit(count).skip(total).each do |item|
            total += 1
            batch += 1
            y << item
          end

          break if batch == 0
        end
      end
    end
  end
end

Ici est une méthode d'assistance que vous pouvez utiliser pour ajouter le dosage de la fonctionnalité. Il peut être utilisé comme:

Post.all.order_by(:id => 1).in_batches_of(7).each_with_index do |post, index|
  # call external slow API
end

Assurez-vous de TOUJOURS avoir un order_by sur votre requête. Sinon, la pagination ne pourrait pas faire ce que vous voulez. Aussi je m'en tiendrais à des lots de 100 ou moins. Comme dit dans la accepté de répondre à Mongoid requêtes par lots de 100, de sorte que vous ne voulez jamais laisser le curseur ouvert tout en faisant de la transformation.

Je ne suis pas sûr que le traitement par lots, mais vous pouvez le faire de cette façon

current_page = 0
item_count = Model.count
while item_count > 0
  Model.all.skip(current_page * 1000).limit(1000).each do |item|
    Sunpot.index(item)
  end
  item_count-=1000
  current_page+=1
end

Mais si vous êtes à la recherche pour une parfaite longtemps solution, je ne recommanderais pas cela. Laissez-moi vous expliquer comment j'ai manipulé le même scénario dans mon application. Au lieu de faire les travaux par lots,

• j'ai créé un resque travail qui met à jour l'index solr

  class SolrUpdator
   @queue = :solr_updator
  
   def self.perform(item_id)
     item = Model.find(item_id)
     #i have used RSolr, u can change the below code to handle sunspot
     solr = RSolr.connect :url => Rails.application.config.solr_path
     js = JSON.parse(item.to_json)
     solr.add js         
   end

  fin

• Après l'ajout de l'article, je viens de mettre une entrée à la resque file d'attente

  Resque.enqueue(SolrUpdator, item.id.to_s)

• C'est tout, de démarrer les resque, et il prendra soin de tout

Comme @RyanMcGeary dit, vous n'avez pas besoin de vous soucier de dosage de la requête. Cependant, l'indexation des objets un à un moment est d'autant plus faible que le dosage entre eux.

Model.all.to_a.in_groups_of(1000, false) do |records|
  Sunspot.index! records
end