Mulitprocess-Pools mit verschiedenen Funktionen

Meisten Beispiele der Multiprozess-Worker-Pools ausführen einer einzelnen Funktion, die in verschiedenen Prozessen f.e.

def foo(args):
   pass

if __name__ == '__main__':
   pool = multiprocessing.Pool(processes=30)
   res=pool.map_async(foo,args)

Gibt es eine Möglichkeit, um zwei verschiedene und voneinander unabhängige Funktionen in den pool? Damit könnten Sie weisen f.e. 15 Prozesse für foo() und 15 Verfahren für bar() oder ist eine pool-begrenzt auf eine einzelne Funktion? Oder du Sie, um verschiedene Prozesse für verschiedene Funktionen manuell mit

 p = Process(target=foo, args=(whatever,))
 q = Process(target=bar, args=(whatever,))
 q.start()
 p.start()

und vergessen Sie den worker-pool?

InformationsquelleAutor dorvak | 2011-08-07
  1. 21

    Übergeben, unterschiedliche Funktionen, können Sie einfach anrufen map_async mehrere Male.

    Hier ist ein Beispiel, um zu illustrieren, dass,

    from multiprocessing import Pool
from time import sleep

def square(x):
    return x * x

def cube(y):
    return y * y * y

pool = Pool(processes=20)

result_squares = pool.map_async(f, range(10))
result_cubes = pool.map_async(g, range(10))

    Das Ergebnis wird sein:

    >>> print result_squares.get(timeout=1)
[0, 1, 4, 9, 16, 25, 36, 49, 64, 81]

>>> print result_cubes.get(timeout=1)
[0, 1, 8, 27, 64, 125, 216, 343, 512, 729]
    • Und wird Sie ausgeführt werden, parallel oder auch "in einer Reihe"?
    • Die map_async sofort zurückgegeben. Solange es genügend freie Prozesse in den pool, neue Aufgaben auszuführen, ohne warten zu müssen. Im Beispiel oben, Sie laufen parallel. @mad_scientist
    • Thx!!!Aber es gibt keine Möglichkeit, die Zuweisung einer bestimmten Menge von Arbeitnehmern/ - Prozesse, Schätze ich?
    • multiprocessing-Pool-API nicht einen Mechanismus bereitstellen, weisen bestimmte Menge von Arbeitnehmern innerhalb des selben pool. Wenn Sie wirklich wollen bestimmte Menge Arbeiter pro Aufgabe, verschiedene pools. Obwohl nur ein einziger pool ist empfehlenswert. Ich denke es macht Sinn, dass der Pool verwalten sollten, die für Sie transparent und ohne Sie sich darüber Gedanken.
    InformationsquelleAutor Ocaj Nires
  2. 4

    Werden Sie nicht parallel laufen.
    Siehe folgenden code:

    def updater1(q,i):    
    print "UPDATER 1:", i
    return

def updater2(q,i):    
    print "UPDATER2:", i
    return

if __name__=='__main__':
    a = range(10)
    b=["abc","def","ghi","jkl","mno","pqr","vas","dqfq","grea","qfwqa","qwfsa","qdqs"]


    pool = multiprocessing.Pool()

    func1 = partial(updater1,q)
    func2 = partial(updater2,q)
    pool.map_async(func1, a)
    pool.map_async(func2, b)

    pool.close()
    pool.join()

    Der obige code ergibt den folgenden Ausdruck:

    UPDATER 1: 1
UPDATER 1: 0
UPDATER 1: 2
UPDATER 1: 3
UPDATER 1: 4
UPDATER 1: 5
UPDATER 1: 6
UPDATER 1: 7
UPDATER 1: 8
UPDATER 1: 9
UPDATER2: abc
UPDATER2: def
UPDATER2: ghi
UPDATER2: jkl
UPDATER2: mno
UPDATER2: pqr
UPDATER2: vas
UPDATER2: dqfq
UPDATER2: grea
UPDATER2: qfwqa
UPDATER2: qwfsa
UPDATER2: qdqs
    InformationsquelleAutor Sam
  3. 0

    Können Sie Karte oder einige lambda-Funktion (edit: tatsächlich, die Sie nicht verwenden können eine lambda-Funktion). Sie können eine einfache map-Funktion:

    def smap(f, *args):
    return f(*args)

pool = multiprocessing.Pool(processes=30)
res=pool.map(smap, function_list, args_list1, args_list2,...)

    Den normalen Karte Funktion nimmt iterables als Eingänge, was umständlich ist.

    InformationsquelleAutor Rayamon
Schreibe einen Kommentar