Multiprocessing mit mehreren Argumenten für Funktion in Python 2.7

Ich versuche, umzusetzen multiprocessing, um die Geschwindigkeit eines Replikations-Schleife, aber nicht in Python27. Dies ist eine sehr vereinfachte version von meinem Programm, basierend auf die docs und die anderen Antworten hier SO (z.B. Python-multiprocessing-pool.anzeigen für multiple Argumente). Ich weiß, dass es eine Reihe von quesions auf multiprocessing, aber so weit ich habe nicht in der Lage, dieses Problem zu lösen. Hoffentlich habe ich nicht übersehen, etwas zu trivial.

Code

import itertools
from multiprocessing import Pool

def func(g, h, i):
    return g + h + i

def helper(args):
    args2 = args[0] + (args[1],)
    return func(*args2)

pool = Pool(processes=4)
result = pool.map(helper, itertools.izip(itertools.repeat((2, 3)), range(20)))
print result

Dies funktioniert bei Verwendung von map(...), aber nicht, wenn mit pool.map(...).

Fehlermeldung:

Process PoolWorker-3:
Traceback (most recent call last):
File "C:\Program_\EPD_python27\lib\multiprocessing\process.py", line 258, in _
bootstrap
self.run()
File "C:\Program_\EPD_python27\lib\multiprocessing\process.py", line 114, in run
self._target(*self._args, **self._kwargs)
File "C:\Program_\EPD_python27\lib\multiprocessing\pool.py", line 85, in worker
task = get()
File "C:\Program_\EPD_python27\lib\multiprocessing\queues.py", line 376, in get
return recv()
AttributeError: 'module' object has no attribute 'helper'

InformationsquelleAutor fileunderwater | 2013-10-02

3

Ist das problem gelöst, indem ein main() Funktion als:
```
import itertools
from multiprocessing import Pool

def func(g, h, i):
    return g + h + i

def helper(args):
    args2 = args[0] + (args[1],)
    return func(*args2)

def main():
    pool = Pool(processes=4)
    result = pool.map(helper,itertools.izip(itertools.repeat((2, 3)), range(10)))
    print result

if __name__ == '__main__':
    main()
```
Basiert auf der Antwort von @ErikAllik ich denke, dass dies vielleicht ein Windows-spezifisches problem.

Bearbeiten: Hier ist eine klare und informative tutorial auf multiprocessing in python.
- Ja, siehe "Safe importieren von Haupt-Modul" unter docs.python.org/2/library/multiprocessing.html#windows
- Ah, richtig: jetzt erinnere ich mich; ich habe dieses selbst—dieses problem tritt nur auf Windows, auch mit "normalen" Python 🙂 Aber auch auf OS X/Linux, es ist immer noch semantisch korrekt zu nicht setzen Sie top-level-code in Module, die im Begriff sind, importiert zu werden; dies ist implizit der Fall, wenn mit multiprocessing.
InformationsquelleAutor fileunderwater

Es ist ein fork von multiprocessing genannt pathos (Hinweis: verwenden Sie die version auf github), dass muss nicht starmap oder Helfer oder alle die anderen Sachen -- die map-Funktionen spiegeln die API für python-anzeigen, also anzeigen können mehrere Argumente. Mit pathos können Sie auch in der Regel tun, multiprocessing, bei dem der Dolmetscher, anstatt stecken in der __main__ block. pathos ist fällig für eine Veröffentlichung, nach einigen milden Aktualisierung-vor allem Umstellung auf python 3.x.

  Python 2.7.5 (default, Sep 30 2013, 20:15:49) 
  [GCC 4.2.1 (Apple Inc. build 5566)] on darwin
  Type "help", "copyright", "credits" or "license" for more information.
  >>> from pathos.multiprocessing import ProcessingPool    
  >>> pool = ProcessingPool(nodes=4)
  >>>
  >>> def func(g,h,i):
  ...   return g+h+i
  ... 
  >>> p.map(func, [1,2,3],[4,5,6],[7,8,9])
  [12, 15, 18]
  >>>
  >>> # also can pickle stuff like lambdas 
  >>> result = pool.map(lambda x: x**2, range(10))
  >>> result
  [0, 1, 4, 9, 16, 25, 36, 49, 64, 81]
  >>>
  >>> # also does asynchronous map
  >>> result = pool.amap(pow, [1,2,3], [4,5,6])
  >>> result.get()
  [1, 32, 729]
  >>>
  >>> # or can return a map iterator
  >>> result = pool.imap(pow, [1,2,3], [4,5,6])
  >>> result
  <processing.pool.IMapIterator object at 0x110c2ffd0>
  >>> list(result)
  [1, 32, 729]

InformationsquelleAutor Mike McKerns

1

Auf meinem OS X, Python 2.7, Ihre code-Ausgänge:
```
[5, 6, 7, 8, 9, 10, 11, 12, 13, 14, 15, 16, 17, 18, 19, 20, 21, 22, 23, 24]
```
Kann ich sehen, Ihre Python-Pfade enthalten EPD_python27, so vielleicht versuchen Sie es mit einem vanila Python Verteilung, nicht Enthought Python-Distribution.

UPDATE: siehe @fileunderwater Antwort für eine Lösung; ich habe dieses mal mich selbst, hatte aber Total vergessen 🙂

Erklärung: Das problem tritt (nur in Windows aus irgendeinem Grund, kann aber auch das geschehen auf OS X und Linux), weil das Modul enthält eine top-level-code. Was multiprocessing tut, ist, dass die Einfuhren Ihren code in das subprocess und führt es. Allerdings, wenn das Modul enthält eine top-level-code, es wird ausgewertet/ausgeführt wird, sofort als das Modul wird importiert. Wickeln Sie es in main und nur aufrufen main() bedingt (d.h. mit einer if __name__ == '__main__' block), du bist dies zu verhindern. Auch das ist nicht korrekt auf OS X und Linux, und ist in der Regel immer vorgezogen, putting-code direkt im Modul.
- Ok, vielen Dank. Da hast du es auf Arbeit habe ich versucht, etwas anders und main(), das scheint das problem zu lösen. Ich anfangs lief das Programm durch Ipython, aber mit einem Haupt, es funktioniert sowohl im LEERLAUF und bei cli (immer noch mit Enthought).
InformationsquelleAutor Erik Allik

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.