multiprocessing.Pool in jupyter notebook funktioniert unter linux aber nicht unter windows

Ich versuche zu laufen, ein paar unabhängige Berechnungen (obwohl das Lesen aus den gleichen Daten). Mein code funktioniert, wenn ich es auf Ubuntu, aber nicht unter Windows (windows server 2012 R2), wo bekomme ich die Fehlermeldung:

'module' object has no attribute ...

wenn ich versuche, mit multiprocessing.Pool (es erscheint in der kernel-Konsole, nicht als Ausgabe in das notebook selbst)

(Und ich hab schon den Fehler gemacht von der Definition der Funktion NACH dem anlegen der pool, und ich hab auch korrigiert, das ist nicht das problem).

Dies geschieht selbst auf die einfachsten Beispiele:

from multiprocessing import Pool
def f(x):
    return x**2
pool = Pool(4)
for res in pool.map(f,range(20)):
    print res

Ich weiß, dass es braucht, um in der Lage sein, um das Modul importieren (und ich habe keine Ahnung, wie das funktioniert, wenn die Arbeit in den notebook), und ich habe gehört, der IPython.Parallel, aber ich war nicht in der Lage zu finden, keine Dokumentation oder Beispiele.

Lösungen/alternativen sehr willkommen.

InformationsquelleAutor user1999728 | 2016-05-08

  1. 1

    Ich würde diesen post als Kommentar, da ich keine vollständige Antwort, aber ich werde es ändern, wie ich herausfinden, was Los ist.

    from multiprocessing import Pool

def f(x):
    return x**2

if __name__ == '__main__':
    pool = Pool(4)
    for res in pool.map(f,range(20)):
        print(res)

    Dieser funktioniert. Ich glaube, die Antwort auf diese Frage ist hier. Kurz gesagt, werden die Teilprozesse nicht wissen, dass Sie Teilprozesse sind und versuchen, führen Sie das script rekursiv.

    Dies ist der Fehler, ich bin da, das gibt uns die gleiche Lösung:

    RuntimeError: 
        An attempt has been made to start a new process before the
        current process has finished its bootstrapping phase.

        This probably means that you are not using fork to start your
        child processes and you have forgotten to use the proper idiom
        in the main module:

            if __name__ == '__main__':
                freeze_support()
                ...

        The "freeze_support()" line can be omitted if the program
        is not going to be frozen to produce an executable.
    Ganz richtig ist. In der Tat die docs Zauber aus mehreren Fallstricke mit multiprocessing auf Windows. Siehe docs.python.org/2/library/multiprocessing.html#windows

    InformationsquelleAutor GRAYgoose124

Schreibe einen Kommentar