map_async vs apply_async:was sollte ich in diesem Fall

Ich bin Bearbeitung von ascii-Daten, einige Vorgänge, und dann schreiben Sie alles wieder in eine andere Datei (Arbeit post_processing_0.main, ohne dass etwas zurückgegeben). Ich möchte zum parallelisieren des Codes mit dem multiprocessing-Modul finden Sie in den folgenden code-snippet:

from multiprocessing import Pool
import post_processing_0

def chunks(lst,n):
    return [ lst[i::n] for i in xrange(n) ]

def main():
    pool = Pool(processes=proc_num)
    P={}
    for i in range(0,proc_num):
        P['process_'+str(i)]=pool.apply_async(post_processing_0.main, [split_list[i]])
    pool.close()
    pool.join()


proc_num=8
timesteps=100
list_to_do=range(0,timesteps)
split_list=chunks(list_to_do,proc_num)

main()

Las ich den Unterschied zwischen map und async, aber ich don t verstehen es sehr gut. Ist meine Bewerbung des multiprocessing-Modul korrekt?

In diesem Fall, sollte ich map_async oder apply_async? Und warum?

Edit:

Ich glaube nicht, dass dies ist ein Duplikat der Frage Python-multiprocessing.Pool: Zeitpunkt der Verwendung gelten, apply_async oder Karte?. In der Frage, die Antwort den Fokus auf die Reihenfolge der Ergebnis, dass unter Verwendung der beiden Funktionen. Hier Frage ich: was ist der Unterschied, wenn nichts zurückgegeben wird?

InformationsquelleAutor Pierpaolo | 2014-12-15
  1. 12

    Ich würde empfehlen map_async aus drei Gründen:

    1. Es ist sauberer code suchen. Diese:

      pool = Pool(processes=proc_num)
async_result = pool.map_async(post_processing_0.main, split_list)
pool.close()
pool.join()

      sieht besser aus als das hier:

      pool = Pool(processes=proc_num)
P={}
for i in range(0,proc_num):
    P['process_'+str(i)]=pool.apply_async(post_processing_0.main, [split_list[i]])
pool.close()
pool.join()

    2. Mit apply_async, wenn eine Ausnahme Auftritt innen der post_processing_0.main Sie nicht wissen, über es sei denn, Sie explizit zu nennen P['process_x'].get() auf die fehlerhafte AsyncResult Objekt, die erfordern würde, der Iteration über alle P. Mit map_async die exception wird ausgelöst, wenn Sie anrufen async_result.get() - keine iteration erforderlich.

    3. map_async gebaut hat-in chunking-Funktionalität, um Ihren code ausführen merklich besser, wenn split_list ist sehr groß.

    Andere als das, das Verhalten ist im Grunde das gleiche, wenn Sie kümmern sich nicht um die Ergebnisse.

    InformationsquelleAutor dano
  2. 9

    apply_async muss nur einen Auftrag an den pool. map_async legt mehrere Aufträge ruft die gleiche Funktion mit unterschiedlichen Argumenten. Der ehemalige nimmt eine Funktion plus argument-Liste; der letztere übernimmt eine Funktion plus iterierbar (dh Sequenz) repräsentiert die Argumente. map_async nur nennen kann unäre Funktionen (d.h. Funktionen nehmen ein einzelnes argument).

    In deinem Fall könnte es besser sein, die Umstrukturierung der code leicht auf alle Ihre Argumente in eine einzige Liste und nur call map_async einmal mit, dass die Liste.

    • Also, wenn wir berücksichtigen, 4-Prozesse und-16-Datei nachbearbeiten, Karte "erstellen" 16-Instanzen, die ausgeführt wird alle zur gleichen Zeit?
    • Du meinst, der pool hat die Größe 4 und die Argumente-Liste hat Größe 16? In diesem Fall, nur 4 zu einem Zeitpunkt ausgeführt, wenn die erste abgeschlossen ist, die fünfte startet, etc.
    • Ok! Dann verstehe ich, gibt es keine Unterschiede(abgesehen von der änderung des Codes).ist das richtig?
    • Ich sagte, was die Unterschiede sind in meiner Antwort. Zum Beispiel map_async nur nennen kann unäre Funktionen.
    • Während die anderen Antworten lese ich SO noch übrig, mich mit Fragen, diese Antwort verdeutlicht den Unterschied zwischen "apply_async" und "map_async" in eine wunderbar prägnante Weise. Danke!!!
    InformationsquelleAutor John Zwinck
Schreibe einen Kommentar