Wie rate-limit auf einem Sellerie-queue?

Ich gelesen das in Sellerie-Dokumentation :

Aufgabe.rate_limit
http://celery.readthedocs.org/en/latest/userguide/tasks.html#Task.rate_limit

Beachten Sie, dass dies ist eine pro-worker-Instanz limit und nicht ein global limit. Zur Durchsetzung einer globalen rate limit (z.B. für eine API mit einer maximalen Anzahl von Anfragen pro Sekunde), Sie müssen sich beschränken auf eine bestimmte Warteschlange.

Wie rate-limit auf Sellerie-Warteschlange?

Vielen Dank für die nicht nach unten Abstimmung ist die Frage.

  • Sellerie docs waren sehr vage auf dieses 🙁
InformationsquelleAutor Vikash Singh | 2015-01-30
  1. 9

    Stellt sich heraus, es kann nicht getan werden auf queue-Ebene für mehrere Mitarbeiter.
    ES kann getan werden, Warteschlange Ebene für 1 Arbeiter. Oder auf queue-Ebene für jeden Arbeitnehmer.

    Also, wenn u sagen wir 10 stellen/minute auf 5 Arbeitnehmer. Ihre Mitarbeiter werden Prozess, der bis zu 50 Arbeitsplätzen pro minute zusammengefasst.

    So haben nur 10 jobs gleichzeitig ausführen Sie wählen, ob ein Arbeiter. Oder haben 5 Arbeiter mit einem limit 2/minute.

    • Wie über einige Besonderheiten - z.B. wie genau sagen Sie einem Arbeiter zu tun, nur "2/minute"?
    • siehe unten meine Antwort
    • Nach der Suche nach der Antwort auf diese Frage, die ich fand, dass die rate-Begrenzung ist nur möglich auf der task-Ebene. Sellerie nicht unterstützt queue-level-rate-Begrenzung.
    • so ist es ein Weg, um die Anzahl der Arbeitnehmer, die dynamisch und dann ein dynamisches limit?
    • Tut dies immer noch in 2019?
    • Für 2019 habe ich ein Beispiel erstellt, wie das zu integrieren, rate limiting in Ihre Aufgaben bei der Verwendung von Sellerie + Django + Redis (nach Angabe bis auf Celerys Mangel rate limiting features oder Dokumentationen, die sich wohl absichtlich wegen der unterschiedlichen Anforderungen für die app) : gist.github.com/Vigrond/2bbea9be6413415e5479998e79a1b11a

    InformationsquelleAutor Vikash Singh
  2. 0

    hey, ich bin auf der Suche nach einem Weg, das zu tun limit mit auf die Liste, und ich finde heraus, Sellerie kann das nicht tun, aber Sellerie ist kann die rate pro Aufgaben finden Sie in diesem:

    http://docs.celeryproject.org/en/latest/userguide/workers.html#rate-limits

    also für ein workaround, vielleicht können Sie festlegen, dass in einer der Aufgaben pro Warteschlange(was Sinn macht, in einer Vielzahl von Situationen), und setzen Sie die Grenze auf die Aufgabe.

    InformationsquelleAutor Marshall X
  3. 0

    Sie können dieses limit in der Blüte - > worker Bereich.
    gibt es eine bestimmte leere Raum für die Eingabe Ihrer Grenze gibt.
    Das format, das vorgeschlagen wird, verwendet werden, ist auch wie die unten:

    Den Herzfrequenz-Grenzwerten angegeben in Sekunden, Minuten oder Stunden durch Anhängen von "/s", >"/m" oder "/h" den Wert. Aufgaben werden gleichmäßig verteilt über den angegebenen >Zeitrahmen.

    Beispiel: "100/m" (hundert Aufgaben in der minute). Dies erzwingt eine Verzögerung von mindestens >600ms zwischen dem Start von zwei Aufgaben auf dem gleichen worker-Instanz.

    • Sie können festlegen, rate-limit, nur auf Aufgaben-Ebene auf einer Blume. Sellerie nicht unterstützt queue-level-rate-Begrenzung.
    InformationsquelleAutor Shayan
Schreibe einen Kommentar