RabbitMQ sur EC2 Consommer des Tonnes de CPU

J'essaie d'obtenir RabbitMQ avec le Céleri et le Django d'aller sur une instance EC2 faire quelques jolies de base en traitement de fond. Je suis en cours d'exécution rabbitmq-serveur 2.5.0 sur une grande instance EC2.

J'ai téléchargé et installé le client de test par les instructions ici (tout en bas de la page). J'ai été tout simplement de laisser le script de test aller et j'obtiens le résultat escompté:

recving rate: 2350 msg/s, min/avg/max latency: 588078478/588352905/588588968 microseconds
recving rate: 1844 msg/s, min/avg/max latency: 588589350/588845737/589195341 microseconds
recving rate: 1562 msg/s, min/avg/max latency: 589182735/589571192/589959071 microseconds
recving rate: 2080 msg/s, min/avg/max latency: 589959557/590284302/590679611 microseconds

Le problème est qu'il consomme une quantité incroyable de PROCESSEUR:

PID UTILISATEUR PR NI VIRT RES SHR S %CPU %MEM TEMPS+ COMMANDE

668 rabbitmq 20 0 618m 506m 2340 S 166 6.8 2:31.53 faisceau.smp

1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0:24.75 java

J'ai été le tester sur un micro instance plus tôt, et il était complètement de consommer toutes les ressources de l'instance.

Est ce prévu? Suis-je en train de faire quelque chose de mal?

Grâce.

Edit:

La vraie raison de ce post est que celerybeat semble être d'accord pour un certain temps et puis tout à coup consommer toutes les ressources du système. J'ai installé le rabbitmq outils de gestion et ont étudié comment les files d'attente sont créés à partir de céleri et de la rabbitmq suite de tests. Il me semble que le céleri est d'abandonner ces files d'attente et ils ne vont pas loin.

Ici est la file d'attente générée par la suite de test. Une file d'attente est créée et tous les messages d'y entrer et d'en sortir:
RabbitMQ sur EC2 Consommer des Tonnes de CPU

Celerybeat crée une nouvelle file d'attente pour chaque fois qu'il exécute la tâche:
RabbitMQ sur EC2 Consommer des Tonnes de CPU

Il définit l'auto-supprimer le paramètre à true, mais je ne suis pas entièrement sûr quand ces files d'attente seront supprimés. Ils semblent juste construire lentement et manger ressources.

Quelqu'un a une idée?

Grâce.

OriginalL'auteur Eric Conner | 2011-06-15

  1. 7

    Ok, j'ai tout compris.

    Ici est la question de la documentation:
    http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend

    Ancien résultats ne seront pas nettoyés automatiquement, donc vous devez vous assurer de consommer les résultats ou encore le nombre de files d'attente finira par aller hors de contrôle. Si vous êtes en cours d'exécution RabbitMQ 2.1.1 ou plus, vous pouvez profiter de la x-expire argument de files d'attente, qui expirera files d'attente après un certain délai après ils sont inutilisés. La file d'attente d'expiration (en secondes) par la CELERY_AMQP_TASK_RESULT_EXPIRES réglage (non activé par défaut).

    La prochaine Céleri version (2.3.0) n'aura pas de résultat backend par défaut. Faire un choix conscient, donc les pièges comme ceux-ci peuvent être évités.
    Veuillez mettre à jour le lien, la page n'existe pas

    OriginalL'auteur Eric Conner

  2. 2

    À ajouter à Eric de Conner solution à son problème, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices états:

    Ignorer les résultats que vous ne voulez pas

    Si vous n'avez pas de soins sur les résultats d'une tâche, assurez-vous de définir le ignore_result option, que le stockage des résultats des gaspillages de temps et de ressources.

    @app.task(ignore_result=True)
def mytask(…):
    something()

    Résultats peuvent même être désactivé à l'échelle mondiale à l'aide de la CELERY_IGNORE_RESULT réglage.

    Que le long avec Eric réponse est probablement un minimum de meilleures pratiques pour la gestion de vos résultats backend.

    Si vous n'avez pas besoin d'un résultats backend, ensemble CELERY_IGNORE_RESULT ou n'établissent pas de résultats backend. Si vous avez besoin d'un résultats backend, ensemble CELERY_AMQP_TASK_RESULT_EXPIRES à être protégés contre le inutilisés résultats de la construction. Si vous n'en avez pas besoin pour une application spécifique, réglez l'ignorer comme ci-dessus.

    OriginalL'auteur r0bb23