Le céleri parallèle distribué tâche avec le multitraitement

J'ai un CPU intensive de Céleri tâche. Je voudrais utiliser toute la puissance de traitement (cœurs) sur beaucoup d'instances EC2 pour faire ce travail plus rapide (céleri parallèle distribué tâche avec le multitraitement - je pense que).

Les termes, filetage, multitraitement, de calcul distribué, traitement distribué parallèle sont tous des termes que je suis en train d'essayer de mieux comprendre.

Exemple de tâche:

  @app.task
  for item in list_of_millions_of_ids:
      id = item # do some long complicated equation here very CPU heavy!!!!!!! 
      database.objects(newid=id).save()

À l'aide du code ci-dessus (avec un exemple si possible) comment il y a distribué cette tâche à l'aide de Céleri en permettant à celle-ci la tâche de diviser jusqu'à utiliser toute la puissance de calcul du CPU de puissance dans l'ensemble de la machine dans le cloud?

InformationsquelleAutor Prometheus | 2014-05-28