Wie fangen Sie die Ausnahmen bei Arbeitern in Multiprocessing

Arbeite ich mit dem multiprocessing-Modul in Python (2.7.3) und Debuggen möchten, einige Dinge in meine Arbeiter. Aber ich scheine nicht in der Lage sein, um alle Ausnahmen abzufangen, die in den worker-threads.

Einem minimal-Beispiel:

import multiprocessing as mp


a=[1]
def worker():
    print a[2]


def pool():
    pool = mp.Pool(processes=1)
    pool.apply_async(worker, args = ())
    pool.close()
    pool.join()
    print "Multiprocessing done!"


if __name__ == '__main__':
    pool()

Dies wird voraussichtlich zu erhöhen, wird ein IndexError, aber meine Ausgabe ist nur 

    Multiprocessing done!

Gibt es eine Möglichkeit, mir zu zeigen, alle auftretenden Ausnahmen in der worker-threads ohne manuell anheben meiner eigenen?

InformationsquelleAutor Dschoni | 2014-02-28
  1. 24

    Wird der Fehler nicht ausgelöst, es sei denn, Sie rufen get Methode von AsyncResult (der Rückgabewert der apply_async):

    Entsprechend der AsyncResult.get - Dokumentation:

    Gibt das Ergebnis aus, wenn es ankommt. Wenn timeout nicht None ist, und die
    das Ergebnis kommt nicht in timeout Sekunden, dann
    multiprocessing.TimeoutError ausgelöst. Wenn Sie den entfernten Aufruf hob eine
    Ausnahme, dann die Ausnahme sein wird reraised von get()    .

    def pool():
    pool = mp.Pool(processes=1)
    result = pool.apply_async(worker, args=())
    result.get() # <------------
    pool.close()
    pool.join()
    print "Multiprocessing done!"
    • Wow, DAS ging schnell. Danke.
    • Sorry, ich denke, dass war für mich durch Zufall. Ich komme zurück, um diese Antwort so oft...Aber mein downvote nicht abgebrochen werden können, für 2 Stunden. Sorry.
    • Wenn ich nicht wollen, zu warten, bis der Prozess abgeschlossen ist, und will immer noch Ausnahmen, was kann ich tun? Ich meine, mit result.get() würde der block-code, bis der Prozess abgeschlossen ist, wie zu entkommen, dass?
    • AFAIK, Ausnahme -> führen, dass die Beendigung des Prozesses. Sie müssen warten, bis der Prozess zu Ende.
    InformationsquelleAutor falsetru
  2. 2

    Ich denke falsetru gab Ihnen, was Sie brauchen. Ich möchte nur erweitern ein wenig mehr.

    Wenn es wichtig für Sie, um nicht nur die Fehler, sondern der ursprüngliche Kontext (d.h. zu wissen, dass die Ausnahme auf der Linie 1 von worker()) können Sie prüfen, diese schöne post von Ned Batchelder die erklärt, wie zu reraisen, Ausnahmen mit Ihrem ursprünglichen Kontext.

    Dass nicht für mp.Pool es ist also nur für den Fall, Sie brauchen etwas mehr. Diese Frage ALSO deckt Ihre Frage über mehr explizite multiprocessing-Techniken anstelle von mp.Pool.

    InformationsquelleAutor KobeJohn
Schreibe einen Kommentar