Tag: multiprocessing

Multiprocessing ist die Verwendung von zwei oder mehrere central processing units (CPUs) in einem einzigen computer-system

python-multiprocessing-pool, warten Sie, bis die Prozesse und starten Sie benutzerdefinierte Prozesse

Anzahl der Antworten 1 Antworten
Früher habe ich python multiprocessing und tun, warten, dass alle Prozesse mit diesem code: ... results = for i in range(num_extract): url = queue.get(timeout=5) try: print "START PROCESS!" result = pool.apply_async(process, [host,url],callback=callback) results.append(result) except Exception,e: continue

ProcessPoolExecutor aus der gleichzeitigen.futures Weise langsamer als multiprocessing.Pool

Anzahl der Antworten 1 Antworten
Ich war das Experimentieren mit neuen glänzenden gleichzeitige.futures - Modul eingeführt, in Python 3.2, und ich habe bemerkt, daß, mit fast identischen code, mit dem Pool von gleichzeitigen.futures ist Weg langsamer als mit multiprocessing.Pool. Dies ist die

Python-multiprocessing: Wie kann ich ZUVERLÄSSIG umleiten von stdout von einem Kind-Prozess?

Anzahl der Antworten 4 Antworten
NB. Ich habe gesehen, Log-Ausgabe von multiprocessing.Prozess - leider, es gibt keine Antwort auf diese Frage. Erstelle ich ein child-Prozess (unter windows) über multiprocessing. Ich will alle des child-Prozesses auf stdout-und stderr-Ausgabe umgeleitet zu werden in einer

Wie zu töten alle Pool-Arbeiter in Multiprozess?

Anzahl der Antworten 2 Antworten
Ich soll aufhören alle threads, die von einem einzigen Arbeiter. Ich habe einen thread-pool mit 10 Arbeitnehmern: def myfunction(i): print(i) if (i == 20): sys.exit() p = multiprocessing.Pool(10, init_worker) for i in range(100): p.apply_async(myfunction, (i,)) Mein Programm

Multiprocessing Queue maxsize-limit ist 32767

Anzahl der Antworten 3 Antworten
Ich versuche zu schreiben, ein Python 2.6 (OSX) Programm mit multiprocessing und ich wollen füllen Sie eine Warteschlange mit mehr als der Standardwert ist 32767 Elemente. from multiprocessing import Queue Queue(2**15) # raises OSError Queue(32767) funktioniert gut,

Mulitprocess-Pools mit verschiedenen Funktionen

Anzahl der Antworten 3 Antworten
Meisten Beispiele der Multiprozess-Worker-Pools ausführen einer einzelnen Funktion, die in verschiedenen Prozessen f.e. def foo(args): pass if __name__ == '__main__': pool = multiprocessing.Pool(processes=30) res=pool.map_async(foo,args) Gibt es eine Möglichkeit, um zwei verschiedene und voneinander unabhängige Funktionen in den

Python-Threads Hängen

Anzahl der Antworten 6 Antworten
Ich habe ein einfaches threaded Python-Programm des standard-Paradigma: class SearchThread(threading.Thread): def __init__(self, search_queue): threading.Thread.__init__(self) self.search_queue = search_queue def run(self): while True: try: search_url = self.search_queue.get(timeout=15) # <do Internet search and print output/> except Queue.Empty: self.search_queue.task_done() break except

Schreiben in eine Datei mit multiprocessing

Anzahl der Antworten 3 Antworten
Ich habe Folgendes problem in python. Muss ich tun, einige Berechnungen parallel, deren Ergebnisse ich müssen geschrieben werden sequentiell in eine Datei. So habe ich eine Funktion, die Sie empfängt, eine multiprocessing.Queue und ein Datei-handle, die Berechnung

Python: das Schreiben auf eine einzige Datei mit dem queue während der Verwendung von multiprocessing Pool

Anzahl der Antworten 2 Antworten
Ich habe Hunderte von tausenden von text-Dateien, die möchte ich analysieren, auf verschiedene Weise. Ich möchte speichern Sie die Ausgabe in eine einzelne Datei ohne Probleme bei der Synchronisierung. Ich habe mit multiprocessing-pool, um dies zu tun,

python-multiprocessing: einige Funktionen nicht zurückgegeben werden, wenn Sie komplett sind (Warteschlange material zu groß)

Anzahl der Antworten 1 Antworten
Ich bin mit multiprocessing -, Prozess-und Queue. Ich starte mehrere Funktionen parallel und die meisten Verhalten sich freundlich: Sie beenden, Ihren Ausgang geht in Ihre Warteschlange, und Sie zeigen, wie .is_alive() == False. Aber aus irgendeinem Grund,

Wie Anhängen des Debuggers an ein python-subproccess?

Anzahl der Antworten 6 Antworten
Ich Debuggen müssen, ein Kind-Prozess erzeugt, indem multiprocessing.Process(). Die pdb degugger scheint zu sein, nichts von "forking" und nicht in der Lage zu befestigen, in bereits laufende Prozesse. Gibt es intelligentere python-Debugger, die angeschlossen werden können, um

wie zu tun multiprocessing in java, und was Geschwindigkeitssteigerungen zu erwarten?

Anzahl der Antworten 6 Antworten
Ich bin ein Neuling mit Java zu tun, einige Verarbeitung der Daten auf csv-Dateien. Für die Verwendung des multithreading-Fähigkeiten von Java (Becken des threads), um batch-import der csv-Dateien in Java und führen Sie einige Operationen auf jede

python-multiprocessing - Prozess hängt mitmachen für große Warteschlange

Anzahl der Antworten 4 Antworten
Ich bin mit python 2.7.3 und mir ist aufgefallen das Folgendes merkwürdige Verhalten. Betrachten Sie dieses minimal-Beispiel: from multiprocessing import Process, Queue def foo(qin, qout): while True: bar = qin.get() if bar is None: break qout.put({'bar': bar})

pandas gelten multiprocessing

Anzahl der Antworten 5 Antworten
Ich versuche, multiprocessing mit pandas dataframe, ist split der dataframe zu 8 Teile. wendet eine Funktion auf jedes Teil mit apply (mit jedem Teil verarbeitet in verschiedenen Verfahren). BEARBEITEN: Hier ist die Lösung, die ich schließlich gefunden:

multiprocessing vs multithreading vs asyncio in Python 3.4

Anzahl der Antworten 2 Antworten
Fand ich, dass in Python 3.4 gibt es nur wenige verschiedene Bibliotheken für multiprocessing/- threading: multiprocessing vs threading vs asyncio. Aber ich weiß nicht, was man verwenden oder ist das "empfehlenswert". Tun Sie das gleiche, oder sind

Griff lang andauernde Prozesse in NodeJS?

Anzahl der Antworten 2 Antworten
Ich habe gesehen, einige ältere Beiträge berühren das Thema, aber ich wollte wissen, was die heutigen, modernen Ansatz. Der Anwendungsfall ist: (1) angenommen, Sie wollen eine lange laufende Aufgabe auf eine video-Datei, sagen wir 60 Sekunden lang,

Können wir führen Sie multi-Prozess - - Programm in docker?

Anzahl der Antworten 2 Antworten
Habe ich einige code mit multi-Prozess wie diesem: import multiprocessing from multiprocessing import Pool pool = Pool(processes=100) result = for job in job_list: result.append( pool.apply_async( handle_job, (job) ) ) pool.close() pool.join() Dieses Programm tut, schwere Berechnungen

multiprocessing multithreading oder

Anzahl der Antworten 8 Antworten
Ich bin der Gestaltung einer dedizierten syslog-Verarbeitung-daemon für Linux, der muss robust und skalierbar, und ich bin debattieren Multithreading vs. Multiprozess. Den offensichtlichen Widerspruch mit multithreading ist die Komplexität und böse Fehler. Multi-Prozesse auf die Leistung auswirken

Wie kann ich dies vermeiden, Beizen Fehler, und was ist der beste Weg zu parallelisieren Sie diesen code in Python?

Anzahl der Antworten 1 Antworten
Ich habe den folgenden code. def main(): (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv for i in range(minI, maxI, iStep): for j in range(minJ, maxJ, jStep): p = multiprocessing.Process(target=functionA, args=(minI, minJ)) p.start() def

multiprocessing: Wie Teile ich ein dict von mehreren Prozessen?

Anzahl der Antworten 5 Antworten
Einem Programm erstellt mehrere Prozesse, dass die Arbeit an einem join-in der Lage Warteschlange Q, und kann schließlich zu manipulieren, ein globales Wörterbuch D Ergebnisse gespeichert werden. (so dass jedes Kind Prozess kann verwendet D zum speichern

Warum muss mein Python-Programm Durchschnitt nur etwa 33% CPU-Zeit pro Prozess? Wie kann ich Python benutzen Sie alle verfügbaren CPU?

Anzahl der Antworten 7 Antworten
Ich benutze Python 2.5.4. Mein Rechner: CPU AMD Phenom X3 720BE, 780G Mainboard, 4GB RAM, Windows 7 32-bit. Ich benutze Python threading kann aber nicht jeder machen python.exe Prozess verbraucht 100% CPU. Warum sind Sie mit nur

Python-Multiprocessing: Was ist der Unterschied zwischen map und imap?

Anzahl der Antworten 3 Antworten
Ich versuche zu lernen, wie man Python-multiprocessing-Paket, aber ich verstehe nicht den Unterschied zwischen map und imap. Ist der Unterschied, dass map gibt, sagen wir, eine tatsächliche array oder set, während imap gibt einen iterator über ein

Multiprocessing - Rohr vs-Warteschlange

Anzahl der Antworten 1 Antworten
Was sind die grundlegenden Unterschiede zwischen queues und pipes in Python-multiprocessing-Paket? In welchen Szenarios sollte man wählen einen über den anderen? Wann ist es vorteilhaft Pipe()? Wann ist es vorteilhaft Queue()? InformationsquelleAutor Jonathan | 2011-12-11

multiprocessing.Pool mit einer globalen Variablen

Anzahl der Antworten 1 Antworten
Ich bin mit dem Pool Klasse aus-python-multiprocessing-Bibliothek ein Programm schreiben, die ausgeführt wird, auf einem HPC-cluster. Hier ist eine Abstraktion von dem, was ich zu tun versuche: def myFunction(x): # myObject is a global variable in this

Python multiprocessing PicklingError: Can ' T pickle <type 'function'>

Anzahl der Antworten 7 Antworten
Tut mir Leid, dass ich den Fehler reproduzieren können mit einem einfacheren Beispiel, und mein code ist zu kompliziert, zu veröffentlichen. Wenn ich das Programm in der IPython-shell anstelle der regulären Python, alles klappt gut. Ich sah

Einfache Möglichkeit zur Verwendung von parallel-Optionen von scikit-learn-Funktionen auf HPC

Anzahl der Antworten 1 Antworten
In vielen Funktionen von scikit-learn implementiert benutzerfreundliche Parallelisierung. Zum Beispiel in sklearn.cross_validation.cross_val_score Sie übergeben Sie einfach die gewünschte Anzahl der computational jobs in n_jobs argument. Und für den PC mit multi-core-Prozessor, es wird funktionieren, sehr nett. Aber

Python Multiprocessing, Verteilte Cluster

Anzahl der Antworten 4 Antworten
Ich bin auf der Suche nach einem python-Paket, das tun können, multiprocessing, nicht nur zwischen verschiedenen Kernen in einem einzigen computer, sondern auch mit einem cluster, verteilt auf mehrere Maschinen. Es gibt eine Menge von verschiedenen Pakete

python-multiprocessing-pool beenden

Anzahl der Antworten 4 Antworten
Arbeite ich auf einer renderfarm, und ich brauche meine Kunden, um in der Lage zu starten mehrerer Instanzen eines Renderers, ohne zu blockieren, so kann der Kunde erhalten neue Befehle. Ich habe, dass die Arbeit richtig, aber

Python multiprocessing mit pathos

Anzahl der Antworten 1 Antworten
Ich bin versucht, Python-pathos zu benennen, die Berechnungen in separaten Prozessen, um dies zu beschleunigen, mit multicore-Prozessor. Mein code ist folgendermaßen organisiert: class: def foo(self,name): ... setattr(self,name,something) ... def boo(self): for name in list: self.foo(name) Als hatte

Was ist der Unterschied zwischen ThreadPool-vs Pool in Python-multiprocessing-Modul

Anzahl der Antworten 1 Antworten
Was ist der Unterschied zwischen ThreadPool und Pool im multiprocessing Modul. Wenn ich versuche meinen code aus, dies ist der wichtigste Unterschied, den ich sehe: from multiprocessing import Pool import os, time print("hi outside of main()") def

Welche Art von Problemen (falls vorhanden) wäre es die Kombination von asyncio mit multiprocessing?

Anzahl der Antworten 3 Antworten
Als fast jeder ist sich dessen bewusst, wenn Sie zum ersten mal threading in Python gibt es das GIL macht das Leben Elend für die Menschen, die wirklich wollen, zu tun processing in parallel - oder geben

Gibt es irgendwelche Nachteile der "multi-Prozessor-compilation" in Visual Studio?

Anzahl der Antworten 3 Antworten
Gibt es irgendwelche Nachteile, Nebenwirkungen oder andere Probleme, die ich bewusst sein sollten, wenn Sie die "Multi-Prozessor-Compilation" - option in Visual Studio für C++ - Projekte? Oder, um Satz die Frage einen anderen Weg, warum ist diese

Python: multiprocessing.anzeigen: Wenn ein Prozess eine Ausnahme auslöst, warum sind nicht andere Prozesse' finally-Blöcke genannt?

Anzahl der Antworten 3 Antworten
Mein Verständnis ist, dass endlich Klauseln muss *immer* ausgeführt werden, wenn die versuchen, eingegeben wurde. import random from multiprocessing import Pool from time import sleep def Process(x): try: print x sleep(random.random()) raise Exception('Exception: ' + x) finally:

Python-Multiprozess-profiling

Anzahl der Antworten 1 Antworten
Ich bin kämpfen, um herauszufinden, wie man profile ein einfaches Multiprozess-python-Skript import multiprocessing import cProfile import time def worker(num): time.sleep(3) print 'Worker:', num if __name__ == '__main__': for i in range(5): p = multiprocessing.Process(target=worker, args=(i,)) cProfile.run('p.start()', 'prof%d.prof'

map_async vs apply_async:was sollte ich in diesem Fall

Anzahl der Antworten 2 Antworten
Ich bin Bearbeitung von ascii-Daten, einige Vorgänge, und dann schreiben Sie alles wieder in eine andere Datei (Arbeit post_processing_0.main, ohne dass etwas zurückgegeben). Ich möchte zum parallelisieren des Codes mit dem multiprocessing-Modul finden Sie in den folgenden

Python-multiprocessing - How, um Speicher freizugeben, wenn ein Prozess fertig ist?

Anzahl der Antworten 3 Antworten
Stieß ich auf ein seltsames problem während der Verwendung von python-multiprocessing-Bibliothek. Mein code ist unten skizziert: ich spawn ein Prozess für jeden "- symbol, Datum" Tupel. Ich kombinieren Sie die Ergebnisse danach. Ich erwarte, dass, wenn ein

Erstellen DB-Verbindung und pflegen auf mehrere Prozesse (multiprocessing)

Anzahl der Antworten 1 Antworten
Ähnlich zu einem anderen post habe ich gemacht, diese Antworten, die post und erstellt eine neue Frage stellen. Rückblick: ich aktualisieren jeden Datensatz in einer räumlichen Datenbank, in der ich einen Datensatz von Punkten, die overlay-Daten-Satz von

wo freeze_support() in ein Python-script?

Anzahl der Antworten 1 Antworten
Bin ich verwirrt über die Verwendung freeze_support() für multiprocessing und ich bekomme eine Runtime Error ohne es. Ich bin nur ein Skript ausgeführt wird, nicht die Definition einer Funktion oder eines Moduls. Kann ich die dennoch benutzen?

Tensorflow und Multiprocessing: die Übergabe von Sessions

Anzahl der Antworten 2 Antworten
Ich habe vor kurzem an einem Projekt arbeiten, mit einem neuronalen Netzwerk für die virtuellen Roboter zu Steuern. Ich verwendet tensorflow zu Programmieren und es läuft reibungslos. Bisher verwendete ich die sequentiellen Simulationen zu evaluieren, wie gut

Python multiprocessing nutzt nur einen Kern

Anzahl der Antworten 4 Antworten
Ich versuche einen code-snippet aus der standard-python-Dokumentation zu lernen, wie man das multiprocessing Modul. Der code ist eingefügt am Ende dieser Meldung. Ich bin mit Python 2.7.1 unter Ubuntu 11.04 auf einem quad-core-Maschine (die nach den system-monitor

Python Multiprocessing Fehlermeldung: AttributeError: module '__main__' hat kein Attribut '__spec__'

Anzahl der Antworten 2 Antworten
Ich bin mit Python 3.6 und versuche zu Folgen zusammen mit dem ersten Beispiel auf der folgenden website (vollständigen code auch unten) und erhalte die folgende Fehlermeldung: https://docs.python.org/3.6/library/multiprocessing.html Fehlermeldung: AttributeError: module '__main__' has no attribute '__spec__' Vollständige

Doxygen ist Langsam

Anzahl der Antworten 1 Antworten
Doxygen dauert etwa 12 Stunden für unsere code-Basis. Dies ist vor allem, weil es ist eine Menge code zu verarbeiten (~1.5 M-Linien). Aber, es ist sehr schnell nähert sich der Punkt, an dem wir nicht können nächtliche

Python-multiprocessing für parallele Prozesse

Anzahl der Antworten 1 Antworten
Tut mir Leid wenn das zu einfach für einige Leute, aber ich verstehe immer noch nicht den trick mit python-multiprocessing. Ich habe gelesen http://docs.python.org/dev/library/multiprocessing http://pymotw.com/2/multiprocessing/basics.html und viele andere tutorials und Beispiele, die google mir gibt,... viele von

Gewusst wie: abrufen mehrerer Werte, die einer Funktion namens durch multiprocessing.Prozess

Anzahl der Antworten 1 Antworten
Habe ich ein Szenario wie dieses : for each in content : pdf_output,job_id=createpdf(each) if pdf_output : pdf_output = pdf_output + pdf_output Ich versuche zu parallelisieren des gesamten Prozesses .So etwas jobs= for each in content : jobs.append(multiprocessing.Process(target=self.createpdf,

Wer führt die callback-bei Verwendung apply_async Methode einer multiprocessing-pool?

Anzahl der Antworten 1 Antworten
Ich versuche zu verstehen, ein wenig von dem, was passiert hinter den kulissen bei der Verwendung der apply_sync Methode einer multiprocessing-pool. Wer führt die callback-Methode? Es ist der wichtigste Prozess, genannt apply_async? Sagen wir mal ich schicke

Python-multiprocessing: Wie Sie wissen, zu verwenden, den Pool oder Prozess?

Anzahl der Antworten 1 Antworten
So, ich habe eine Algorithmus, den ich Schreibe, und die Funktion multiprocess soll eine andere Funktion aufrufen, CreateMatrixMp(), auf wie viele Prozesse es gibt cpus, parallel. Ich habe noch nie getan, multiprocessing vor, und kann nicht sicher

Python multiprocessing memory Nutzung

Anzahl der Antworten 1 Antworten
Habe ich geschrieben, dass ein Programm kann wie folgt zusammengefasst werden: def loadHugeData(): #load it return data def processHugeData(data, res_queue): for item in data: #process it res_queue.put(result) res_queue.put("END") def writeOutput(outFile, res_queue): with open(outFile, 'w') as f res=res_queue.get()

Warum multiprocessing verwenden Sie nur einen single-core-nachdem ich den import numpy?

Anzahl der Antworten 3 Antworten
Ich bin mir nicht sicher, ob das zählt mehr als ein OS-Problem, aber ich dachte, ich würde bitten, hier in den Fall, jemand hat einen kleinen Einblick von der Python-Seite der Dinge. Ich habe versucht, parallelise ein

multiprocessing.dummy in Python ist nicht die Nutzung 100% cpu

Anzahl der Antworten 1 Antworten
Ich bin dabei eine Maschine-learning-Projekt in Python, so dass ich zu tun haben, parallel predict-Funktion, die ich verwende in meinem Programm. from multiprocessing.dummy import Pool from multiprocessing import cpu_count def multi_predict(X, predict, *args, **kwargs): pool = Pool(cpu_count())

Python/PySide: Wie kann ich Sie zerstören einen beendeten thread-Objekt?

Anzahl der Antworten 3 Antworten
Ich würde gerne implementieren Sie eine Taste zum beenden eines thread mit einem Prozess, es funktioniert aber nicht wie erwartet: ich kann nicht löschen das thread-Objekt. (EDIT: Die Referenz auf das thread-Objekt zu sein scheint gelöscht, aber