Add n Aufgaben Sellerie Warteschlange und warten auf die Ergebnisse

Ich würde mehrere Aufgaben hinzufügen, um Sellerie Warteschlange und warten auf Ergebnisse. Ich habe verschiedene Ideen, wie ich dies erreichen, nutzen Sie irgendeine form von shared storage (memcached, redis, db, etc.), allerdings hätte ich gedacht, es ist etwas, Sellerie verarbeiten kann automatisch, aber ich finde keine online-Ressourcen.

Code-Beispiel

def do_tasks(b):
    for a in b:
        c.delay(a)

    return c.all_results_some_how()
InformationsquelleAutor Prydie | 2014-11-01
  1. 30

    Für Sellerie >= 3.0, TaskSet ist veraltet zu Gunsten von Gruppe.

    from celery import group
from tasks import add

job = group([
             add.s(2, 2),
             add.s(4, 4),
             add.s(8, 8),
             add.s(16, 16),
             add.s(32, 32),
])

    Start der Gruppe im hintergrund:

    result = job.apply_async()

    Warten:

    result.join()
    InformationsquelleAutor laffuste
  2. 16

    Aufgabe.delay gibt AsyncResult. Verwenden AsyncResult.get zu bekommen Ergebnis für jede Aufgabe.

    Zu tun, dass Sie brauchen, um Referenzen zu den Aufgaben.

    def do_tasks(b):
    tasks = []
    for a in b:
        tasks.append(c.delay(a))
    return [t.get() for t in tasks]

    Oder verwenden Sie ResultSet:

    def do_tasks(b):
    rs = ResultSet([])
    for a in b:
        rs.add(c.delay(a))
    return rs.get()
    • Arbeitete wie ein Charme retten ResultSet die eine Liste von Ergebnissen (oder leere Liste) schon im Konstruktor. Ich habe bei einer Bearbeitung der post, um es zu korrigieren.
    • Vielen Dank für Ihr feedback und Korrektur.
    InformationsquelleAutor falsetru
  3. 2

    Habe ich das Gefühl, dass Sie nicht wirklich wollen, der Verzug aber das async-feature von Sellerie.

    Ich denke, Sie wirklich wollen, eine TaskSet:

    from celery.task.sets import TaskSet
from someapp.tasks import sometask

def do_tasks(b):
    job = TaskSet([sometask.subtask((a,)) for a in b])
    result = job.apply_async()
    # might want to handle result.successful() == False
    return result.join()
    InformationsquelleAutor Árni St. Sigurðsson
Schreibe einen Kommentar