Warum muss mein Python-Programm Durchschnitt nur etwa 33% CPU-Zeit pro Prozess? Wie kann ich Python benutzen Sie alle verfügbaren CPU?

Ich benutze Python 2.5.4. Mein Rechner: CPU AMD Phenom X3 720BE, 780G Mainboard, 4GB RAM, Windows 7 32-bit.

Ich benutze Python threading kann aber nicht jeder machen python.exe Prozess verbraucht 100% CPU. Warum sind Sie mit nur etwa 33-34% im Durchschnitt?.

Möchte ich direkt alle verfügbaren computer-Ressourcen in Richtung dieser großen Berechnungen, so füllen Sie diese so schnell wie möglich.

BEARBEITEN:
Vielen Dank an alle. Jetzt bin ich mit Parallel Python und alles funktioniert gut. Meine CPU immer bei 100%. Vielen Dank an alle!

InformationsquelleAutor AloneRoad | 2009-11-16
  1. 33

    Es scheint, dass Sie eine 3-Kern CPU. Wenn Sie möchten, um mehr als einen CPU-Kern in native Python-code, haben Sie, um zu laichen mehrere Prozesse. (Zwei oder mehr Python-threads können nicht gleichzeitig ausgeführt werden, die auf verschiedenen CPUs)

    Als R. Pate gesagt, Python ist multiprocessing Modul ist ein Weg. Allerdings würde ich vorschlagen, Blick auf Parallel Python statt. Es kümmert sich um die Verteilung von Aufgaben und message-passing. Sie können sogar die Ausführung von tasks auf vielen separaten Computern mit wenig änderungen an Ihrem code.

    Verwendung ist sehr einfach:

    import pp

def parallel_function(arg):
    return arg

job_server = pp.Server() 

# Define your jobs
job1 = job_server.submit(parallel_function, ("foo",))
job2 = job_server.submit(parallel_function, ("bar",))

# Compute and retrieve answers for the jobs.
print job1()
print job2()
    • Nicht genau, Sie können Themen, die ohne Beteiligung der GIL.
    • Für praktische Zwecke, werden alle systemeigenen Python-code wird halten Sie die GIL zu allen Zeiten.
    • Mit Erweiterungsmodulen ist sehr praktisch, zumindest für mich. (Ich habe noch von Ihnen positiv bewertet werden für die PP-Referenz obwohl. 🙂
    InformationsquelleAutor intgr
  2. 25

    Versuchen die multiprocessing Modul, wie Python, während es echte, native threads, beschränken Ihre gleichzeitige Verwendung, während das GIL gehalten wird. Eine weitere alternative, und so etwas sollte man sich ansehen, wenn Sie müssen real Geschwindigkeit, ist das schreiben eines C-Verlängerung-Modul und Aufruf von Funktionen, die es von Python. Lassen Sie die GIL in den C-Funktionen.

    Siehe auch David Beazley's Unfassbar GIL.

    • Vielen Dank für diesen link. Ich hatte keine Ahnung, es war so schlimm.
    InformationsquelleAutor
  3. 11

    Global Interpreter Lock

    Den Gründen der Beschäftigung von solchen sperren sind:

    * increased speed of single-threaded programs (no necessity to acquire or release locks
  on all data structures separately)
* easy integration of C libraries that usually are not thread-safe.

    Anwendungen in Sprachen mit
    ein GIL haben getrennte Prozesse
    (z.B. Dolmetscher) zur Erreichung der vollen
    Parallelität, wie jeder Dolmetscher hat
    seine eigene GIL.

    • Warum habe ich mich downvoted? Das gibt eine richtige Antwort auf die Frage "Warum sind Sie mit nur etwa 33-34% im Durchschnitt aus?", und es gibt auch eine Lösung unterhalb... War ein downvote wirklich notwendig? Auch die ausgewählte Antwort der erste Satz abgestimmt diese Lösung.
    • Wenn die Maus über den up/down-vote Pfeil, der alt-text ist klar: "diese Antwort ist hilfreich/nicht hilfreich". Idiotisch, es scheint, dass viele Benutzer SO Lesen "wie ich diese Antwort/ich weiß nicht, wie diese Antwort und diese person sollte sterben einen schrecklichen Tod" statt, und dementsprechend wählen. Wenn ich downvote eine Antwort, ich würde downvote nicholaides " Antwort, aber ich kann nicht, für die winzige chance hat er Recht (obwohl ich der festen überzeugung, er nicht).
    InformationsquelleAutor Sivvy
  4. 1

    Vom CPU-Auslastung wie es aussieht bist du immer noch auf einen single-core. Versuchen Sie, eine triviale Berechnung mit 3 oder mehr threads mit dem gleichen threading-code und sehen, ob es nutzt alle Kerne. Wenn nicht, ist etwas falsch sein könnte mit Ihrem threading-code.

    • Das problem ist nicht seine threading-code; aufgrund der GIL, Python nicht ausführen, wirklich parallele Operationen, auch wenn es für multithreading. So kann es nur ein core gleichzeitig.
    • qid: stimmt Nicht! Code in eine C-extension module kann die Freigabe GIL und einige Arbeit, während andere threads, die gleichzeitig ausgeführt werden.
    • mein CPU nutzt 3 Kerne mit gleicher Belastung
    InformationsquelleAutor Saulius Žemaitaitis
  5. 1

    Was Stackless Python?

    • Stackless python hat die gleichen Einschränkungen. Nicht mit herkömmlichen Fäden nicht bedeutet, dass GIL Weg ist.
    InformationsquelleAutor
  6. 0

    Du Flaschenhals vermutlich woanders, wie die Festplatte (paging) oder memory Zugriff.

    • Nur zur info, Arbeitsspeicher (RAM) Zugriffe zählen für die CPU-Nutzung %, weil die CPU ausgelastet ist-warten. Also, dass kann nicht die Ursache sein.
    • Dies ist wahrscheinlich eine GIL im Zusammenhang mit Ausgabe auf ein 3-core-Maschine, nicht eine Erinnerung oder Zugriff auf die Festplatte Problem.
    • ja.. ich habe 8 Kerne und die %CPU-Auslastung pro hart arbeiten pythonw.exe Prozess ist 12,5 = 100/8
    InformationsquelleAutor nicholaides
  7. 0

    Sollten Sie einige Betriebssystem und Python monitoring, um festzustellen, wo der Flaschenhals ist.

    Hier einige Infos für windows 7:

    Performance Monitor: Sie können die Windows-Performance-Monitor, um zu prüfen, wie die Programme, die Sie ausführen, Einfluss auf die Leistung Ihres Computers, sowohl in Echtzeit und durch das sammeln von log-Daten zur späteren Analyse. (Systemsteuerung-> Alle Elemente der Systemsteuerung->Performance-Informationen und Tools-> Advanced Tools- > Ansicht-Performance-Monitor)

    Ressourcen-Monitor: Windows-Ressourcen-Monitor ist ein system-tool, das Ihnen erlaubt, um Informationen über die Nutzung der hardware (CPU, memory, disk, Netzwerk) und software (file-handles und Module) Ressourcen in Echtzeit. Mit dem Ressourcenmonitor können Sie starten, stoppen, unterbrechen und fortsetzen von Prozessen und Dienstleistungen. (Systemsteuerung-> Alle Elemente der Systemsteuerung->Performance-Informationen und Tools-> Advanced Tools- > Ansicht-Ressource-Monitor)

    InformationsquelleAutor Chad
Schreibe einen Kommentar