Tag: multiprocessing
Multiprocessing ist die Verwendung von zwei oder mehrere central processing units (CPUs) in einem einzigen computer-system
multiprocessing: Wie Teile ich ein dict von mehreren Prozessen?
5 Antworten
Einem Programm erstellt mehrere Prozesse, dass die Arbeit an einem join-in der Lage Warteschlange Q, und kann schließlich zu manipulieren, ein globales Wörterbuch D Ergebnisse gespeichert werden. (so dass jedes Kind Prozess kann verwendet D zum speichern
Warum muss mein Python-Programm Durchschnitt nur etwa 33% CPU-Zeit pro Prozess? Wie kann ich Python benutzen Sie alle verfügbaren CPU?
7 Antworten
Ich benutze Python 2.5.4. Mein Rechner: CPU AMD Phenom X3 720BE, 780G Mainboard, 4GB RAM, Windows 7 32-bit. Ich benutze Python threading kann aber nicht jeder machen python.exe Prozess verbraucht 100% CPU. Warum sind Sie mit nur
Python-Multiprocessing: Was ist der Unterschied zwischen map und imap?
3 Antworten
Ich versuche zu lernen, wie man Python-multiprocessing-Paket, aber ich verstehe nicht den Unterschied zwischen map und imap. Ist der Unterschied, dass map gibt, sagen wir, eine tatsächliche array oder set, während imap gibt einen iterator über ein
Multiprocessing - Rohr vs-Warteschlange
1 Antworten
Was sind die grundlegenden Unterschiede zwischen queues und pipes in Python-multiprocessing-Paket? In welchen Szenarios sollte man wählen einen über den anderen? Wann ist es vorteilhaft Pipe()? Wann ist es vorteilhaft Queue()? InformationsquelleAutor Jonathan | 2011-12-11
multiprocessing.Pool mit einer globalen Variablen
1 Antworten
Ich bin mit dem Pool Klasse aus-python-multiprocessing-Bibliothek ein Programm schreiben, die ausgeführt wird, auf einem HPC-cluster. Hier ist eine Abstraktion von dem, was ich zu tun versuche: def myFunction(x): # myObject is a global variable in this
Python multiprocessing PicklingError: Can ' T pickle <type 'function'>
7 Antworten
Tut mir Leid, dass ich den Fehler reproduzieren können mit einem einfacheren Beispiel, und mein code ist zu kompliziert, zu veröffentlichen. Wenn ich das Programm in der IPython-shell anstelle der regulären Python, alles klappt gut. Ich sah
Einfache Möglichkeit zur Verwendung von parallel-Optionen von scikit-learn-Funktionen auf HPC
1 Antworten
In vielen Funktionen von scikit-learn implementiert benutzerfreundliche Parallelisierung. Zum Beispiel in sklearn.cross_validation.cross_val_score Sie übergeben Sie einfach die gewünschte Anzahl der computational jobs in n_jobs argument. Und für den PC mit multi-core-Prozessor, es wird funktionieren, sehr nett. Aber
Python Multiprocessing, Verteilte Cluster
4 Antworten
Ich bin auf der Suche nach einem python-Paket, das tun können, multiprocessing, nicht nur zwischen verschiedenen Kernen in einem einzigen computer, sondern auch mit einem cluster, verteilt auf mehrere Maschinen. Es gibt eine Menge von verschiedenen Pakete
python-multiprocessing-pool beenden
4 Antworten
Arbeite ich auf einer renderfarm, und ich brauche meine Kunden, um in der Lage zu starten mehrerer Instanzen eines Renderers, ohne zu blockieren, so kann der Kunde erhalten neue Befehle. Ich habe, dass die Arbeit richtig, aber
Python multiprocessing mit pathos
1 Antworten
Ich bin versucht, Python-pathos zu benennen, die Berechnungen in separaten Prozessen, um dies zu beschleunigen, mit multicore-Prozessor. Mein code ist folgendermaßen organisiert: class: def foo(self,name): ... setattr(self,name,something) ... def boo(self): for name in list: self.foo(name) Als hatte
Was ist der Unterschied zwischen ThreadPool-vs Pool in Python-multiprocessing-Modul
1 Antworten
Was ist der Unterschied zwischen ThreadPool und Pool im multiprocessing Modul. Wenn ich versuche meinen code aus, dies ist der wichtigste Unterschied, den ich sehe: from multiprocessing import Pool import os, time print("hi outside of main()") def
Welche Art von Problemen (falls vorhanden) wäre es die Kombination von asyncio mit multiprocessing?
3 Antworten
Als fast jeder ist sich dessen bewusst, wenn Sie zum ersten mal threading in Python gibt es das GIL macht das Leben Elend für die Menschen, die wirklich wollen, zu tun processing in parallel - oder geben
Gibt es irgendwelche Nachteile der "multi-Prozessor-compilation" in Visual Studio?
3 Antworten
Gibt es irgendwelche Nachteile, Nebenwirkungen oder andere Probleme, die ich bewusst sein sollten, wenn Sie die "Multi-Prozessor-Compilation" - option in Visual Studio für C++ - Projekte? Oder, um Satz die Frage einen anderen Weg, warum ist diese
Python: multiprocessing.anzeigen: Wenn ein Prozess eine Ausnahme auslöst, warum sind nicht andere Prozesse' finally-Blöcke genannt?
3 Antworten
Mein Verständnis ist, dass endlich Klauseln muss *immer* ausgeführt werden, wenn die versuchen, eingegeben wurde. import random from multiprocessing import Pool from time import sleep def Process(x): try: print x sleep(random.random()) raise Exception('Exception: ' + x) finally:
Python-Multiprozess-profiling
1 Antworten
Ich bin kämpfen, um herauszufinden, wie man profile ein einfaches Multiprozess-python-Skript import multiprocessing import cProfile import time def worker(num): time.sleep(3) print 'Worker:', num if __name__ == '__main__': for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) cProfile.run('p.start()', 'prof%d.prof'
map_async vs apply_async:was sollte ich in diesem Fall
2 Antworten
Ich bin Bearbeitung von ascii-Daten, einige Vorgänge, und dann schreiben Sie alles wieder in eine andere Datei (Arbeit post_processing_0.main, ohne dass etwas zurückgegeben). Ich möchte zum parallelisieren des Codes mit dem multiprocessing-Modul finden Sie in den folgenden
Python-multiprocessing - How, um Speicher freizugeben, wenn ein Prozess fertig ist?
3 Antworten
Stieß ich auf ein seltsames problem während der Verwendung von python-multiprocessing-Bibliothek. Mein code ist unten skizziert: ich spawn ein Prozess für jeden "- symbol, Datum" Tupel. Ich kombinieren Sie die Ergebnisse danach. Ich erwarte, dass, wenn ein
Erstellen DB-Verbindung und pflegen auf mehrere Prozesse (multiprocessing)
1 Antworten
Ähnlich zu einem anderen post habe ich gemacht, diese Antworten, die post und erstellt eine neue Frage stellen. Rückblick: ich aktualisieren jeden Datensatz in einer räumlichen Datenbank, in der ich einen Datensatz von Punkten, die overlay-Daten-Satz von
wo freeze_support() in ein Python-script?
1 Antworten
Bin ich verwirrt über die Verwendung freeze_support() für multiprocessing und ich bekomme eine Runtime Error ohne es. Ich bin nur ein Skript ausgeführt wird, nicht die Definition einer Funktion oder eines Moduls. Kann ich die dennoch benutzen?
Tensorflow und Multiprocessing: die Übergabe von Sessions
2 Antworten
Ich habe vor kurzem an einem Projekt arbeiten, mit einem neuronalen Netzwerk für die virtuellen Roboter zu Steuern. Ich verwendet tensorflow zu Programmieren und es läuft reibungslos. Bisher verwendete ich die sequentiellen Simulationen zu evaluieren, wie gut
Python multiprocessing nutzt nur einen Kern
4 Antworten
Ich versuche einen code-snippet aus der standard-python-Dokumentation zu lernen, wie man das multiprocessing Modul. Der code ist eingefügt am Ende dieser Meldung. Ich bin mit Python 2.7.1 unter Ubuntu 11.04 auf einem quad-core-Maschine (die nach den system-monitor
Python Multiprocessing Fehlermeldung: AttributeError: module '__main__' hat kein Attribut '__spec__'
2 Antworten
Ich bin mit Python 3.6 und versuche zu Folgen zusammen mit dem ersten Beispiel auf der folgenden website (vollständigen code auch unten) und erhalte die folgende Fehlermeldung: https://docs.python.org/3.6/library/multiprocessing.html Fehlermeldung: AttributeError: module '__main__' has no attribute '__spec__' Vollständige
Doxygen ist Langsam
1 Antworten
Doxygen dauert etwa 12 Stunden für unsere code-Basis. Dies ist vor allem, weil es ist eine Menge code zu verarbeiten (~1.5 M-Linien). Aber, es ist sehr schnell nähert sich der Punkt, an dem wir nicht können nächtliche
Python-multiprocessing für parallele Prozesse
1 Antworten
Tut mir Leid wenn das zu einfach für einige Leute, aber ich verstehe immer noch nicht den trick mit python-multiprocessing. Ich habe gelesen http://docs.python.org/dev/library/multiprocessing http://pymotw.com/2/multiprocessing/basics.html und viele andere tutorials und Beispiele, die google mir gibt,... viele von
Gewusst wie: abrufen mehrerer Werte, die einer Funktion namens durch multiprocessing.Prozess
1 Antworten
Habe ich ein Szenario wie dieses : for each in content : pdf_output,job_id=createpdf(each) if pdf_output : pdf_output = pdf_output + pdf_output Ich versuche zu parallelisieren des gesamten Prozesses .So etwas jobs= for each in content : jobs.append(multiprocessing.Process(target=self.createpdf,
Wer führt die callback-bei Verwendung apply_async Methode einer multiprocessing-pool?
1 Antworten
Ich versuche zu verstehen, ein wenig von dem, was passiert hinter den kulissen bei der Verwendung der apply_sync Methode einer multiprocessing-pool. Wer führt die callback-Methode? Es ist der wichtigste Prozess, genannt apply_async? Sagen wir mal ich schicke
Python-multiprocessing: Wie Sie wissen, zu verwenden, den Pool oder Prozess?
1 Antworten
So, ich habe eine Algorithmus, den ich Schreibe, und die Funktion multiprocess soll eine andere Funktion aufrufen, CreateMatrixMp(), auf wie viele Prozesse es gibt cpus, parallel. Ich habe noch nie getan, multiprocessing vor, und kann nicht sicher
Python multiprocessing memory Nutzung
1 Antworten
Habe ich geschrieben, dass ein Programm kann wie folgt zusammengefasst werden: def loadHugeData(): #load it return data def processHugeData(data, res_queue): for item in data: #process it res_queue.put(result) res_queue.put("END") def writeOutput(outFile, res_queue): with open(outFile, 'w') as f res=res_queue.get()
Warum multiprocessing verwenden Sie nur einen single-core-nachdem ich den import numpy?
3 Antworten
Ich bin mir nicht sicher, ob das zählt mehr als ein OS-Problem, aber ich dachte, ich würde bitten, hier in den Fall, jemand hat einen kleinen Einblick von der Python-Seite der Dinge. Ich habe versucht, parallelise ein
multiprocessing.dummy in Python ist nicht die Nutzung 100% cpu
1 Antworten
Ich bin dabei eine Maschine-learning-Projekt in Python, so dass ich zu tun haben, parallel predict-Funktion, die ich verwende in meinem Programm. from multiprocessing.dummy import Pool from multiprocessing import cpu_count def multi_predict(X, predict, *args, **kwargs): pool = Pool(cpu_count())
Python/PySide: Wie kann ich Sie zerstören einen beendeten thread-Objekt?
3 Antworten
Ich würde gerne implementieren Sie eine Taste zum beenden eines thread mit einem Prozess, es funktioniert aber nicht wie erwartet: ich kann nicht löschen das thread-Objekt. (EDIT: Die Referenz auf das thread-Objekt zu sein scheint gelöscht, aber
Installieren Multiprocessing Python ist3
1 Antworten
Ganz neu bei Python. Ich möchte installieren multiprocessing-Modul von python. Ich bin mit python 3.6 und pip-version 9.1. Ich erhalte eine Fehlermeldung, die dazu führen mich zu glauben, dass da nicht mehr ein multiprocessing-Modul kompatibel mit python
Python - Multiprocessing-Daemon
1 Antworten
Ich bin erstellen einer Multiprozess -, welche eine csv-Datei erstellt. Wenn ich den code mit d.daemon = False es funktioniert, dh es wird eine Datei in den gleichen Ordner. Aber beim kompilieren und ausführen mit d.daemon =
Verwenden numpy-array im shared memory für multiprocessing
5 Antworten
Ich würde gerne auf einen numpy-array im gemeinsamen Speicher für die Verwendung mit dem multiprocessing-Modul. Die Schwierigkeit ist, es zu benutzen wie ein numpy-array, und das nicht nur als ctypes-array. from multiprocessing import Process, Array import scipy
Mit dem multiprocessing-Modul für cluster-computing
4 Antworten
Ich bin interessiert in der Ausführung eines Python-Programms über einen computer-cluster. Ich habe in der Vergangenheit schon mit Python MPI-Schnittstellen, aber aufgrund von Schwierigkeiten beim kompilieren/installieren, diese würde ich bevorzugen Lösungen, die mithilfe der integrierten Module, wie
Laufen mehrere Python-scripts
3 Antworten
Ich würde gern ein einfaches Python-Programm gleichzeitig ausführen 2 unabhängige scripts. Jetzt sind die zwei Skripte drucken Sie einfach eine Abfolge von zahlen, aber meine Absicht ist es, dieses Programm zu verwenden, um gleichzeitig führen Sie ein
subprocess + multiprocessing - mehrere Befehle in Folge
1 Antworten
Habe ich eine Reihe von Kommandozeilen-tools, ich würde gerne parallel auf eine Reihe von Dateien. Ich habe geschrieben, ein python-Funktion zu wickeln, dass sieht ungefähr so aus: def process_file(fn): print os.getpid() cmd1 = "echo "+fn p =
Broken pipe-Fehler mit multiprocessing.Warteschlange
3 Antworten
In python2.7, multiprocessing.Warteschlange wirft eine kaputte Fehlermeldung, wenn die Initialisierung innerhalb einer Funktion. Ich bin die Bereitstellung einer minimal-Beispiel, das das problem reproduziert. #!/usr/bin/python # -*- coding: utf-8 -*- import multiprocessing def main(): q = multiprocessing.Queue() for
Machen Kinder warten, bis Erhalt der Eltern-signal
2 Antworten
Ich will N Kinder von einem Elternteil. Ich möchte, dass alle Kinder zu starten (eine Funktion, um die Zeit zu Messen) in der gleichen Zeit. So legte ich die Funktion in einem Signalhandler und wenn die Eltern
Maximale CPU-Verwendung in python-multiprocessing
2 Antworten
Ich bin mit multiprocessing.Pool.imap laufen viele unabhängige jobs, die parallel mit Python 2.7 unter Windows 7. Mit den Standard-Einstellungen, meine gesamte CPU-Nutzung gebunden ist bei 100%, wie gemessen durch den Windows Task-Manager. Dies macht es unmöglich, zu
python-Multiprozess-update-Wörterbuch synchron
3 Antworten
Ich versuche zu aktualisieren, ein gemeinsames Wörterbuch durch mehrere Prozesse. Könnten Sie bitte mir helfen herauszufinden, was das problem mit diesem code? Ich bekomme die folgende Ausgabe: inside function {1: 1, 2: -1} comes here inside function
SQLite3 und Multiprocessing
4 Antworten
Bemerkte ich, dass sqlite3 nicht wirklich fähig ist, noch zuverlässig, wenn ich es in einer multiprocessing-Umgebung. Jeder Prozess versucht, einige schreiben von Daten in die gleiche Datenbank, so dass eine Verbindung verwendet wird, die von mehreren threads.
Python: How to make Programm warten Sie, bis die Funktion oder Methode, die Fertigstellung
2 Antworten
Oft gibt es eine Notwendigkeit für das Programm warten, bis eine Funktion, um seine Arbeit abzuschließen. Manchmal ist es das Gegenteil: es gibt keine Notwendigkeit für ein Hauptprogramm zu warten. Ich habe ein einfaches Beispiel. Es gibt
multiprocessing AttributeError Modul-Objekt hat kein Attribut '__path__'
2 Antworten
ich habe ein langes script, welches am Ende ausführen muss, um eine Funktion auf alle Elemente der riesigen Liste, die dauert eine lange Zeit,denken Sie zum Beispiel an: input_a= [1,2,3,4] # a lengthy computation on some data
Beispiel für multiprocessing.Warteschlange
1 Antworten
Ich bin auf der Suche nach einer funktionierenden Beispiel von multiprocessing.Warteschlange, nachdem er darauf hingewiesen, es von dieser Frage: Python unter Verwendung mehrerer Prozessoren Stieß ich auf diese, aber es scheint nur einen meiner 12-Prozessoren, auch wenn
Überprüfung auf leere Warteschlange in python multiprocessing
3 Antworten
Ich habe ein Programm mit python-Pakete multiprocessing und Warteschlange. Eine meiner Funktionen haben diese Struktur: from multiprocessing import Process, Queue def foo(queue): while True: try: a = queue.get(block = False) doAndPrintStuff(a) except: print "the end" break if
XIO: fatal IO error 11 (Resource temporarily unavailable) on X server ":0" nach 235 Anfragen (235 bekannt verarbeitet) mit 0 Ereignisse übrigen
1 Antworten
Ja andere Leute haben diese Frage gestellt, bevor, aber nicht im gleichen Kontext oder zu meiner Zufriedenheit. So, hier geht:: Bin ich eine Anwendung schreiben, die mit python, das Programm mit pygame (ergo opengl) für die Anzeige
Python:Anhängen an der gleichen Liste von verschiedenen Prozesse, die Verwendung von multiprocessing
3 Antworten
Muss ich anfügen Objekte, um eine Liste "L" aus verschiedenen Prozesse mittels multiprocessing , aber es gibt leere Liste. Wie kann ich viele Prozesse anfügen an Liste "L"mit multiprocessing ? #!/usr/bin/python from multiprocessing import Process L= def
Tastatur-Interrupts mit python-multiprocessing-Pool
10 Antworten
Wie kann ich damit umgehen KeyboardInterrupt Veranstaltungen mit python-multiprocessing-Pools? Hier ist ein einfaches Beispiel: from multiprocessing import Pool from time import sleep from sys import exit def slowly_square(i): sleep(1) return i*i def go(): pool = Pool(8) try:
Multiprocessing-pool "apply_async' scheint nur zu rufen Sie die Funktion einmal
4 Antworten
Habe ich die docs zu versuchen zu verstehen, multiprocessing-pools. Ich kam mit dieser: import time from multiprocessing import Pool def f(a): print 'f(' + str(a) + ')' return True t = time.time() pool = Pool(processes=10) result =