Tag: multiprocessing
Multiprocessing ist die Verwendung von zwei oder mehrere central processing units (CPUs) in einem einzigen computer-system
Python Subclassing Multiprocessing.Process
4 Antworten
Ich bin neu in python Objekt-orientiert und ich bin umschreiben meine bestehende Anwendung als eine objektorientierte version, weil nun die Entwickler werden immer mehr und mein code ist immer un-reparierbar. Normalerweise benutze ich multiprocessing queues, aber ich
multiprocessing.Pool: Wann verwenden Sie apply, apply_async oder map?
2 Antworten
Habe ich nicht gesehen klare Beispiele mit use-cases für Pool.bewerbenPool.apply_async und Pool.anzeigen. Ich bin vor allem mit Pool.map; was sind die Vorteile der anderen? InformationsquelleAutor der Frage Phyo Arkar Lwin | 2011-12-16
Python-Multiprocessing-Beizfehler
7 Antworten
Tut mir Leid, dass ich den Fehler reproduzieren können mit einem einfacheren Beispiel, und mein code ist zu kompliziert, zu veröffentlichen. Wenn ich das Programm in der IPython-shell anstelle der regulären python, alles klappt gut. Ich sah
Multiprocessing: Wie wird Pool.map für eine in einer Klasse definierte Funktion verwendet?
13 Antworten
Wenn ich so etwas wie: from multiprocessing import Pool p = Pool(5) def f(x): return x*x p.map(f, [1,2,3]) funktioniert es einwandfrei. Jedoch setzen diese als eine Funktion einer Klasse: class calculate(object): def run(self): def f(x): return x*x
Protokollausgabe von Multiprocessing.Process
3 Antworten
Gibt es eine Möglichkeit zu protokollieren, die stdout-Ausgabe von einem bestimmten Prozess bei Verwendung des multiprocessing.Process-Klasse in python? InformationsquelleAutor der Frage astrofrog | 2009-10-01
Was ist der Unterschied zwischen Multiprocessing und Subprozess?
3 Antworten
Meine Arbeit verwenden sollten, parallele Techniken, und ich ein neuer Benutzer von python. Also ich Frage mich, ob Sie könnte einige material über die python - multiprocessing und subprocess Module. Was ist der Unterschied zwischen diesen beiden?
Python-Prozess-Pool nicht-dämonisch?
3 Antworten
Wäre es möglich, erstellen Sie ein python-Pool, der nicht-dämonischen? Ich will ein pool sein, in der Lage zu nennen, eine Funktion, die in einem anderen pool im inneren. Ich will das, weil Dämon-Prozesse kann einen Prozess nicht
Sellerie parallel verteilte Aufgabe mit Multiprocessing
4 Antworten
Habe ich eine CPU-intensive Sellerie Aufgabe. Ich würde gerne alle nutzen die Prozessorleistung (Kerne) auf viele EC2-Instanzen in diesem job zu erledigen schneller (Sellerie parallel distributed Aufgabe mit multiprocessing - ich denke). Den Bedingungen, threadingmultiprocessingdistributed computingverteilte parallele
Multiprocessing vs Threading Python
7 Antworten
Ich versuche zu verstehen, die Vorteile der multiprocessing über threading. Ich weiß, dass multiprocessing wird, um die Globale Interpreter-Sperre, aber welche anderen Vorteile gibt es, und kann threading nicht das gleiche tun? InformationsquelleAutor der Frage John |
Peinliche parallele Probleme mit Python-Multiprocessing lösen
5 Antworten
Wie nutzt man multiprocessing zu bewältigen peinlich parallele Probleme? Embarassingly parallele Probleme in der Regel bestehen aus drei grundlegenden teilen: Lesen input-Daten (Datei, Datenbank, tcp-Verbindung, etc.). Laufen Berechnungen auf den Eingangsdaten, wobei jeder Berechnung ist unabhängig von
Was sind die Unterschiede zwischen Threading- und Multiprocessing-Modulen?
5 Antworten
Bin ich lernen, wie man die threading und die multiprocessing Module in Python zum ausführen bestimmter Operationen in parallel-und speed up my code. Ich bin auf der Suche nach diesem schwer (vielleicht weil ich nicht irgendwelche theoretischen
Verständnis Multiprozessing: Shared Memory Management, Sperren und Warteschlangen in Python
1 Antworten
Multiprocessing ist ein mächtiges Werkzeug in python, und ich will es verstehen, mehr in die Tiefe. Ich will wissen, Wann regelmäßige Sperren und Warteschlangen und Wann eine multiprocessing Manager teilen diese unter alle Prozesse. Kam ich mit
Python-Multiprocessing - Pipe vs Queue
1 Antworten
Was sind die grundlegenden Unterschiede zwischen queues und pipes in Python-multiprocessing-Paket? In welchen Szenarios sollte man wählen einen über den anderen? Wann ist es vorteilhaft Pipe()? Wann ist es vorteilhaft Queue()? InformationsquelleAutor der Frage Jonathan | 2011-12-11
Python Multiprocessing: Behandlung von Kindfehlern in Parent
3 Antworten
Ich bin derzeit rund um das Spiel mit multiprocessing und Warteschlangen. Ich habe geschrieben, ein Stück code zum exportieren von Daten aus mongoDB, eine Karte in eine relationale (flache) Struktur, konvertieren Sie alle Werte in string und
Wie bedient der Singleton Bean die gleichzeitige Anfrage?
5 Antworten
Ich habe eine Frage bezüglich wie singleton-beans dienen die gleichzeitige Anforderungen im detail. Gesucht hab ich auf StackOverflow auf diese Frage. Dies ist ein Beispiel -link von stackoverflowaber ich fand nur high-level-details. Ich will volle details, wie
Teilen einer Ergebniswarteschlange zwischen mehreren Prozessen
1 Antworten
In der Dokumentation für die multiprocessing Modul zeigt, wie Sie pass eine Warteschlange, in der ein Prozess gestartet, mit multiprocessing.Process. Aber wie kann ich teilen eine Warteschlange mit asynchronen Arbeitsprozessen begann mit apply_async? Ich brauche keine dynamische
multiprocessing.Pool: Was ist der Unterschied zwischen map_async und imap?
1 Antworten
Ich versuche zu lernen, wie man Python ' s multiprocessing Paket, aber ich verstehe nicht den Unterschied zwischen map_async und imap. Ich bemerkte, dass beide map_async und imap werden asynchron ausgeführt. Also Wann sollte ich einen über
Python Pool mit Arbeitsprozessen
2 Antworten
Ich bin versucht, einen worker-Pool in python mithilfe von Prozess-Objekten. Jeder Arbeitnehmer (ein Prozess) erfolgt eine Initialisierung (dauert eine nicht-triviale Menge an Zeit), übergeben bekommt eine Reihe von arbeiten (idealerweise mit map()), und etwas zurückgibt. Keine Kommunikation
Kann ich einen Rückgabewert vom Multiprocessing erhalten?
1 Antworten
Habe ich umgesetzt, einige einfache Parallelität in einer Monte-Carlo-code mit Hilfe der Python-multiprocessing-Modul. Ich habe code, der wie folgt aussieht: montecarlos = [MonteCarlo(f,fargs) for fargs in farglist] jobs = [multiprocessing.Process(mc) for mc in montecarlos] for job in
Kann ich eine Multiprocessing-Warteschlange in einer Funktion verwenden, die von Pool.imap aufgerufen wird?
1 Antworten
Ich bin mit python 2.7 und versuchen, einige CPU-Intensive Aufgaben in Ihre eigenen Prozesse. Ich möchte in der Lage sein, Nachrichten zu senden, zurück zum übergeordneten Prozess es zu halten informiert über den aktuellen status des Prozesses.
String Argumente in Python Multiprocessing
3 Antworten
Ich versuche zu übergeben wird ein string-argument, um eine Ziel-Funktion in einem Prozess. Irgendwie ist die Zeichenkette wird interpretiert als eine Liste, die beliebig viele Argumente als Zeichen vorhanden sind. Dies ist der code: import multiprocessing def
Python Multiprocessing Exit Elegant Wie?
1 Antworten
import multiprocessing import time class testM(multiprocessing.Process): def __init__(self): multiprocessing.Process.__init__(self) self.exit = False def run(self): while not self.exit: pass print "You exited!" return def shutdown(self): self.exit = True print "SHUTDOWN initiated" def dostuff(self): print "haha", self.exit a =
Warum kann ich eine Instanzmethode an Multiprocessing übergeben.Process, aber kein Multiprocessing.Pool?
3 Antworten
Ich versuche, eine Anwendung zu schreiben gilt, dass eine Funktion gleichzeitig mit einer multiprocessing.Pool. Ich möchte diese Funktion, um eine Instanz-Methode (so kann ich es definieren, unterschiedlich in verschiedenen Unterklassen). Dies scheint nicht möglich zu sein, wie
Verwenden von Multiprocessing.Process mit einer maximalen Anzahl gleichzeitiger Prozesse
1 Antworten
Habe ich die Python code: from multiprocessing import Process def f(name): print 'hello', name if __name__ == '__main__': for i in range(0, MAX_PROCESSES): p = Process(target=f, args=(i,)) p.start() läuft gut. Allerdings MAX_PROCESSES ist variabel und kann einen
Verwenden Sie ein numpy Array im Shared Memory für Multiprocessing
5 Antworten
Ich würde gerne auf einen numpy-array im gemeinsamen Speicher für die Verwendung mit dem multiprocessing-Modul. Die Schwierigkeit ist, es zu benutzen wie ein numpy-array, und das nicht nur als ctypes-array. from multiprocessing import Process, Array import scipy
PicklingError bei Multiprocessing
1 Antworten
Ich habe Probleme bei der Verwendung der Pool.map_async() (und auch Pool.map()) in das multiprocessing Modul. Ich habe implementiert eine parallel-für-loop-Funktion, das funktioniert gut, solange die Funktion Eingabe zu Pool.map_async ist eine "normale" Funktion. Wenn die Funktion z.B.
Wie übergibt man eine Warteschlangenreferenz an eine Funktion, die von pool.map_async () verwaltet wird?
2 Antworten
Möchte ich ein lang andauernder Prozess, um wieder in seine Fortschritte, die in eine Warteschlange (oder so ähnlich), ich werde zu ernähren, um eine Fortschrittsanzeige-dialog. Ich brauche auch das Ergebnis, wenn der Prozess abgeschlossen ist. Ein test-Beispiel
Python-Multiprocessing Pool-Prozesslimit
4 Antworten
In der Nutzung der Pool-Objekt aus dem multiprocessing-Modul, ist die Anzahl der Prozesse begrenzt durch die Anzahl der CPU-Kerne? E. g. wenn ich 4 Kerne, auch wenn ich ein Pool mit 8 Verfahren, nur 4 gleichzeitig in
Python-Multiprozessing, das sicher in eine Datei schreibt
2 Antworten
Ich versuche mich zu lösen, eine große numerische problem, die umfasst eine Vielzahl von Teilproblemen, und ich bin mit Python-multiprocessing-Modul (speziell Pool.Karte) zum aufteilen von verschiedenen unabhängigen Teilprobleme auf verschiedenen Kernen. Jedes subproblem computing umfasst viele sub-Teilproblemen,
Werden geteilte Readonly-Daten in verschiedene Prozesse für Multiprocessing kopiert?
4 Antworten
Das Stück code, das ich habe sieht etwas, was wie dieser: glbl_array = # a 3 Gb array def my_func( args, def_param = glbl_array): #do stuff on args and def_param if __name__ == '__main__': pool = Pool(processes=4)
Wie arbeiten SMP-Cores, Prozesse und Threads genau zusammen?
5 Antworten
Auf einem single-core-CPU, jeder Prozess läuft in der OS und der CPU springt um von einem Prozess zu einem anderen am besten nutzen, selbst. Ein Prozess kann beliebig viele threads, in dem Fall läuft die CPU durch
Wie kombiniere ich Pool.map mit Array (Shared Memory) in Python Multiprocessing?
4 Antworten
Ich habe eine sehr große (nur Lesen) array mit Daten, die ich will verarbeitet werden, die mehrere Prozesse parallel. Ich mag den Pool.map-Funktion auf und möchte es verwenden, um zu berechnen Funktionen auf, die die Daten parallel.
Parallelisieren einer Numpy-Vektoroperation
3 Antworten
Let ' s verwenden, zum Beispiel numpy.sin() Dem folgenden code wird der Wert des Sinus für jeden Wert des Arrays a: import numpy a = numpy.arange( 1000000 ) result = numpy.sin( a ) Aber meine Maschine hat
Sellerie auf Prozesse anwenden und gleichzeitig Aufgaben erledigen
4 Antworten
Würde ich gerne Sellerie als eine Warteschlange für meine Aufgaben, so dass meine web-app könnte enqueue-eine Aufgabe, in der eine Antwort zurück und der task verarbeitet werden, inzwischen /someday /... ich Baue eine Art API, also ich
Verwenden des Multiprocessing-Moduls für Cluster-Computing
3 Antworten
Ich bin interessiert in der Ausführung eines Python-Programms über einen computer-cluster. Ich habe in der Vergangenheit schon mit Python MPI-Schnittstellen, aber aufgrund von Schwierigkeiten beim kompilieren/installieren, diese würde ich bevorzugen Lösungen, die mithilfe der integrierten Module, wie
Python-Multiprocessing pool.map für mehrere Argumente
15 Antworten
In der Python-multiprocessing-Bibliothek, ist es eine Variante des pool.Karte, die Unterstützung für mehrere Argumente? text = "test" def harvester(text, case): X = case[0] text+ str(X) if __name__ == '__main__': pool = multiprocessing.Pool(processes=6) case = RAW_DATASET pool.map(harvester(text,case),case, 1)
Ein einfaches Beispiel für die Verwendung von Multiprocessing Queue, Pool und Locking
5 Antworten
Ich habe versucht, die Dokumentation zu Lesen bei http://docs.python.org/dev/library/multiprocessing.html aber ich bin immer noch am kämpfen mit multiprocessing Queue, Pool und Sperren. Und jetzt war ich in der Lage, bauen Sie das Beispiel unten. Bezüglich der Queue
Die Speicherauslastung wächst mit Pythons multiprocessing.pool
5 Antworten
Hier ist das Programm: #!/usr/bin/python import multiprocessing def dummy_func(r): pass def worker(): pass if __name__ == '__main__': pool = multiprocessing.Pool(processes=16) for index in range(0,100000): pool.apply_async(worker, callback=dummy_func) # clean up pool.close() pool.join() Fand ich die Speicherauslastung (beide und
Django Multiprocessing und Datenbankverbindungen
7 Antworten
Hintergrund: Arbeite ich einem Projekt verwendet Django mit einer Postgres-Datenbank. Wir sind auch mit mod_wsgi im Falle, dass Fragen, da einige meiner web-Recherchen gemacht haben, von ihm zu schweigen. Über web-Formular Einreichen, die Django-view startet ein job,
Ein komplexes Objekt zwischen Python-Prozessen teilen?
5 Antworten
Ich habe einen ziemlich komplexen Python-Objekt, das ich brauche zu teilen, zwischen mehreren Prozessen. Ich starte diese Prozesse mit multiprocessing.Process. Wenn ich Teile eines Objekts mit multiprocessing.Queue und multiprocessing.Pipe in ihm, Sie teilen sich einfach nur gut.
Python-Multiprocessing: Wie teile ich ein Diktat unter mehreren Prozessen?
4 Antworten
Einem Programm erstellt mehrere Prozesse, dass die Arbeit an einem join-in der Lage Warteschlange Qund kann schließlich zu manipulieren, ein globales Wörterbuch D Ergebnisse gespeichert werden. (so dass jedes Kind Prozess kann verwendet D zum speichern der
wie man eine Prozess-Pool-Bash-Shell schreibt
8 Antworten
Habe ich mehr als 10 Aufgaben ausführen, und das system einschränken, dass es bei den meisten 4-Aufgaben können gleichzeitig ausgeführt werden. Meine Aufgabe gestartet werden kann, wie: myprog taskname Wie kann ich schreiben Sie eine bash-shell-Skript zum
Wann muss .join () für einen Prozess aufgerufen werden?
2 Antworten
Lese ich verschiedene tutorials auf dem multiprocessing-Modul in Python, und habe Schwierigkeiten zu verstehen, warum/Wann process.join(). Zum Beispiel, ich stolperte über dieses Beispiel: nums = range(100000) nprocs = 4 def worker(nums, out_q): """ The worker function, invoked
Was können Multiprozessing und Dill zusammen tun?
1 Antworten
Ich würde gerne die multiprocessing Bibliothek in Python. Leider multiprocessing verwendet pickle das nicht unterstützen Funktionen mit closures, Lambda-Ausdrücke oder Funktionen in __main__. Alle drei sind mir wichtig In [1]: import pickle In [2]: pickle.dumps(lambda x: x)
Einzelne Datei aus mehreren Prozessen in Python verarbeiten
3 Antworten
Habe ich eine einzige große Textdatei, in die ich will, um jede Zeile ( einige Operationen ) und diese in einer Datenbank speichern. Da ein einfaches Programm zu lange dauert, ich will es über mehrere Prozesse oder
Wie verwende ich den Initialisierer, um meinen Multiprozess-Pool einzurichten?
3 Antworten
Ich versuche, den Multiprozess-Pool-Objekt. Ich möchte jeden Prozess, eine Datenbankverbindung zu öffnen, wenn es anfängt, dann verwenden Sie diese Verbindung, um die Daten, die übergeben wird. (Eher als das öffnen und schließen der Verbindung für jedes bit
Gemeinsam genutzter Speicher in Multiprocessing
3 Antworten
Habe ich drei große Listen. Zunächst enthält bitarrays (Modul bitarray 0.8.0) und die beiden anderen enthalten arrays von ganzen zahlen. l1=[bitarray 1, bitarray 2, ... ,bitarray n] l2=[array 1, array 2, ... , array n] l3=[array 1,
Wie wird die Multiprocessing-Warteschlange in Python verwendet?
2 Antworten
Bin ich mit viel Mühe versucht zu verstehen, wie das multiprocessing queue arbeitet auf python und wie es zu implementieren. Sagen wir ich habe zwei python-Module, die Zugriff auf Daten aus einer freigegebenen Datei, nennen wir diese
RuntimeError in Windows versucht Python-Multiprocessing
3 Antworten
Versuche ich, meine sehr erste offizielle python-Programm mit Threading und Multiprocessing auf einem windows-Rechner. Ich bin nicht in der Lage, um das starten der Prozesse, mit python geben die folgende Meldung. Die Sache ist die, ich bin
Warum verwendet Multiprozessing nur einen einzigen Kern, nachdem ich numpy importiert habe?
3 Antworten
Ich bin mir nicht sicher, ob das zählt mehr als ein OS-Problem, aber ich dachte, ich würde bitten, hier in den Fall, jemand hat einen kleinen Einblick von der Python-Seite der Dinge. Ich habe versucht, parallelise ein