RabbitMQ auf EC2 Verbraucht Unmengen von CPU

Ich versuche, RabbitMQ mit Sellerie und Django geht auf eine EC2-Instanz zu tun, ein paar ziemlich grundlegende hintergrund-Verarbeitung. Ich bin mit rabbitmq-server 2.5.0 auf einem großen EC2-Instanz.

Ich heruntergeladen und installiert die test-client nach der Anleitung hier (ganz unten auf der Seite). Ich habe nur dass das test-Skript gehen und bin immer die erwartete Ausgabe:

recving rate: 2350 msg/s, min/avg/max latency: 588078478/588352905/588588968 microseconds
recving rate: 1844 msg/s, min/avg/max latency: 588589350/588845737/589195341 microseconds
recving rate: 1562 msg/s, min/avg/max latency: 589182735/589571192/589959071 microseconds
recving rate: 2080 msg/s, min/avg/max latency: 589959557/590284302/590679611 microseconds

Das problem ist, dass es verbraucht eine unglaubliche Menge an CPU:

PID USER PR NI VIRT RES SHR S %CPU %MEM TIME+ COMMAND

668 rabbitmq 20 0 618m 506m 2340 S 166 6.8 2:31.53 Strahl.smp

1301 ubuntu 20 0 2142m 90m 9128 S 17 1.2 0:24.75 java

Ich wurde getestet auf eine micro-instance von früher und es war völlig verbrauchen alle Ressourcen, die auf die Instanz.

Ist das zu erwarten? Mache ich etwas falsch?

Dank.

Edit:

Der eigentliche Grund für diesen Beitrag war, dass celerybeat zu funktionieren schien in Ordnung für eine Weile und dann plötzlich verbrauchen alle Ressourcen auf dem system. Ich installierte die rabbitmq-management-tools und haben untersucht, wie die Warteschlangen werden erstellt von Sellerie und aus dem rabbitmq-test-suite. Es scheint mir, dass Sellerie ist, Verwaisung dar, diese Warteschlangen, und Sie sind nicht Weg.

Hier ist die Warteschlange, wie generiert der test-suite. Eine queue erstellt und alle Nachrichten gehen hinein und kommen heraus:
RabbitMQ auf EC2 Verbraucht Unmengen von CPU

Celerybeat erstellt eine neue queue für jedes mal, wenn es startet die Aufgabe:
RabbitMQ auf EC2 Verbraucht Unmengen von CPU

Er setzt die auto-delete-parameter auf true, aber ich bin mir nicht ganz sicher, Wann diese Warteschlangen werden gelöscht. Sie scheinen nur langsam aufbauen, und fressen Ressourcen.

Hat jemand eine Idee?

Dank.

InformationsquelleAutor Eric Conner | 2011-06-15
  1. 8

    Ok, ich fand es heraus.

    Hier ist das entsprechende Stück der Dokumentation:
    http://readthedocs.org/docs/celery/latest/userguide/tasks.html#amqp-result-backend

    Alte Ergebnisse werden nicht automatisch gereinigt, so müssen Sie sicherstellen, verbrauchen die Ergebnisse oder sonst die Anzahl der Warteschlangen wird irgendwann außer Kontrolle geraten. Wenn Sie die RabbitMQ 2.1.1 oder höher können Sie die Vorteile der x-läuft argument, um Warteschlangen, die Warteschlangen ablaufen, nach einer bestimmten Frist, nachdem Sie nicht verwendet werden. Die Warteschlange Ablauf kann eingestellt werden (in Sekunden) durch die CELERY_AMQP_TASK_RESULT_EXPIRES Einstellung (standardmäßig nicht aktiviert).

    • Die nächste Sellerie-version (2.3.0) nicht ein Ergebnis backend standardmäßig. Machen Sie eine bewusste Wahl, so Fallstricke wie diese können vermieden werden.
    • Bitte aktualisieren Sie den link, Seite existiert nicht
    InformationsquelleAutor Eric Conner
  2. 2

    Hinzufügen Eric Conner ' s Lösung zu seinem eigenen problem, http://docs.celeryproject.org/en/latest/userguide/tasks.html#tips-and-best-practices Staaten:

    Ignorieren Ergebnisse, die Sie nicht wollen,

    Wenn Sie kümmern sich nicht um die Ergebnisse einer Aufgabe, sicherzustellen, dass die ignore_result option, da die Speicherung der Ergebnisse verschwendet Zeit und Ressourcen.

    @app.task(ignore_result=True)
def mytask(…):
    something()

    Ergebnisse können auch deaktiviert werden Global über die CELERY_IGNORE_RESULT Einstellung.

    Dass zusammen mit Eric ' s Antwort ist wahrscheinlich ein minimum von best practices für die Verwaltung Ihrer Ergebnisse backend.

    Wenn Sie nicht brauchen, ein Ergebnisse-backend-set CELERY_IGNORE_RESULT oder gar nicht die Ergebnisse backend überhaupt. Wenn Sie brauchen Ergebnisse backend eingestellt CELERY_AMQP_TASK_RESULT_EXPIRES, das es zu schützen gegen nicht verwendete Ergebnisse den Aufbau. Wenn Sie es nicht brauchen für eine bestimmte app, die lokale ignorieren wie oben.

    InformationsquelleAutor Robert Beatty
Schreibe einen Kommentar