Wie kann ich dies vermeiden, Beizen Fehler, und was ist der beste Weg zu parallelisieren Sie diesen code in Python?

Ich habe den folgenden code. 

def main():
  (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv
  for i in range(minI, maxI, iStep):
    for j in range(minJ, maxJ, jStep): 
      p = multiprocessing.Process(target=functionA, args=(minI, minJ))
      p.start()
      def functionB((a, b)):
        subprocess.call('program1 %s %s %s %s %s %s' %(c, a, b, 'file1', 
          'file2', 'file3'), shell=True)
        for d in ['a', 'b', 'c']:
          subprocess.call('program2 %s %s %s %s %s' %(d, 'file4', 'file5', 
            'file6', 'file7'), shell=True)
      abProduct = list(itertools.product(range(0, 10), range(0, 10)))
      pool = multiprocessing.Pool(processes=numProcessors)
      pool.map(functionB, abProduct)

Produziert den folgenden Fehler. 

Exception in thread Thread-1:
Traceback (most recent call last):
  File "/usr/lib64/python2.6/threading.py", line 532, in __bootstrap_inner
    self.run()
  File "/usr/lib64/python2.6/threading.py", line 484, in run 
    self.__target(*self.__args, **self.__kwargs)
  File "/usr/lib64/python2.6/multiprocessing/pool.py", line 255, in _handle_tasks
    put(task)
PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function fa
iled

Den Inhalt funktionalisierte unwichtig sind, und nicht wird ein Fehler erzeugt. Der Fehler scheint aufzutreten, wenn ich versuche die Karte functionB. Wie Entferne ich diese Fehlermeldung, und was ist der beste Weg zu parallelisieren Sie diesen code in Python 2.6?

InformationsquelleAutor idealistikz | 2012-07-02
  1. 18

    Der Grund, den Sie wahrscheinlich sehen, dieses Verhalten ist aufgrund der Reihenfolge, in der Sie definieren Ihren pool, Objekte und Funktionen. multiprocessing ist nicht ganz das selbe wie mit threads. Jeder Prozess spawnt und laden Sie eine Kopie der Umgebung. Wenn Sie Funktionen erstellen, die in Bereichen, die nicht zur Verfügung, um die Prozesse oder Objekte erstellen, bevor Sie den pool, dann ist der pool wird scheitern.

    Zunächst versuchen, die Schaffung eines Pools vor Ihrem großen Schleife:

    (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv
pool = multiprocessing.Pool(processes=numProcessors)
for i in range(minI, maxI, iStep):
    ...

    Verschieben Sie dann Ihr Ziel callable außerhalb der dynamic loop:

    def functionB(a, b):
    ...

def main():
    ...

    Beispiel...

    gebrochen

    import multiprocessing

def broken():
    vals = [1,2,3]

    def test(x):
        return x

    pool = multiprocessing.Pool()
    output = pool.map(test, vals)
    print output

broken()
# PicklingError: Can't pickle <type 'function'>: attribute lookup __builtin__.function failed

    arbeiten

    import multiprocessing

def test(x):
    return x

def working():
    vals = [1,2,3]

    pool = multiprocessing.Pool()
    output = pool.map(test, vals)
    print output

working()
# [1, 2, 3]
    InformationsquelleAutor jdi
Schreibe einen Kommentar