Python-Threads, die alle auf einem einzelnen Kern ausgeführt werden

Habe ich ein Python-Programm, das laicht viele threads, läuft 4 zu einem Zeitpunkt, und jeder führt eine teure operation ist. Pseudocode:

for object in list:
    t = Thread(target=process, args=(object))
    # if fewer than 4 threads are currently running, t.start(). Otherwise, add t to queue

Aber wenn das Programm ausgeführt wird, die Aktivitätsanzeige in OS X zeigt, dass 1 von den 4 logischen Kernen auf 100% und der andere bei fast 0. Ich kann natürlich nicht zwingen das OS nichts zu tun, aber ich hatte noch nie um die Aufmerksamkeit auf die performance in multi-threaded-code, wie dies vor so dass ich Frage mich, wenn ich mich gerade fehlt oder ein Missverständnis etwas.

Dank.

InformationsquelleAutor der Frage Rob Lourens | 2010-12-21

  1. 55

    Beachten Sie, dass in vielen Fällen (und praktisch allen Fällen, in denen Sie Ihre "teure operation" ist eine Berechnung implementiert in Python), mehrere threads nicht wirklich parallel durch Python ' s Global Interpreter Lock (GIL).

    Die GIL ist eine interpreter-Ebene zu sperren.
    Diese Sperre verhindert die Ausführung von
    mehrere Fäden auf einmal in der Python
    Dolmetscher. Jeder thread, der will
    ausführen müssen warten, bis der GIL werden
    freigegeben durch den anderen thread, die
    bedeutet, dass Ihre multi-threaded Python
    die Anwendung ist im wesentlichen Einzel -
    Gewinde, richtig? Ja. Nicht genau.
    Art.

    CPython benutzt, was heißt “Betrieb
    system" - threads unter der Decke,
    das ist zu sagen, jedes mal, wenn eine Anfrage an
    machen einen neuen thread gemacht, der
    Dolmetscher ruft tatsächlich in die
    Betriebssystem, Bibliotheken und
    kernel erzeugen einem neuen thread. Diese
    ist das gleiche wie Java, zum Beispiel. So
    in Erinnerung, Sie haben wirklich mehrere
    threads und in der Regel der Betrieb
    system steuert, welcher thread
    geplant ausführen. Auf einem mehrere
    Prozessor-Maschine, bedeutet dies, dass Sie
    hätte viele threads verteilt
    mehrere Prozessoren, alle glücklich
    Weg tuckern Arbeit.

    Jedoch, während CPython benutzt
    Betriebssystem-threads (in der Theorie
    dass mehrere threads ausführen
    innerhalb der interpreter
    gleichzeitig), die Dolmetscher auch
    Kräfte der GIL erworben werden, durch ein
    thread, bevor es Zugriff auf die
    Dolmetscher und stack und modifizieren können
    Python-Objekte in den Speicher
    willy-nilly. Der Letzte Punkt ist der Grund, warum
    die GIL besteht: Die GIL verhindert
    der gleichzeitige Zugriff auf Python-Objekte
    durch mehrere threads. Aber nicht
    speichern Sie (wie dargestellt durch die Bank
    Beispiel) von einem lock-und Kleinschreibung
    Geschöpf; Sie nicht bekommen eine Kostenlose Fahrt.
    Die GIL ist es zu schützen
    Dolmetscher Speicher, nicht auf Ihre Vernunft.

    Finden Sie in der Global Interpreter Lock Abschnitt Jesse Noller ' s post für mehr details.

    Zu diesem problem zu umgehen, überprüfen Sie heraus Python-multiprocessing-Modul.

    mehrere Prozesse (mit vernünftiger Nutzung
    der IPC) sind[...] eine viel bessere
    Ansatz zum schreiben von apps für multi-CPU -
    Boxen als threads.

    -- Guido van Rossum (der Schöpfer von Python)

    InformationsquelleAutor der Antwort Gabriel Grant

  2. 8

    Python hat eine Globale Interpreter-Sperre, die verhindern, dass threads von interpretierten code wird gleichzeitig verarbeitet.

    http://en.wikipedia.org/wiki/Global_Interpreter_Lock

    http://wiki.python.org/moin/GlobalInterpreterLock

    Für Möglichkeiten um dies zu umgehen, versuchen die multiprocessing-Modulwie empfohlen hier:

    Tut separate python-Prozesse zu vermeiden, die GIL?

    InformationsquelleAutor der Antwort T.R.

  3. 2

    AFAIK in CPython die Globale Interpreter-Sperre bedeutet, dass es kann nicht mehr als einen block von Python-code ausgeführt wird. Obwohl dies nicht wirklich Einfluss auf das, was in einem single-Prozessor/single-core-Maschine, auf einem mulitcore-Maschine, es bedeutet, dass Sie effektiv nur einen thread gleichzeitig laufen lassen - so dass alle anderen Kern im Leerlauf befindet.

    InformationsquelleAutor der Antwort MAK

Schreibe einen Kommentar