Tag: multiprocessing

Multiprocessing ist die Verwendung von zwei oder mehrere central processing units (CPUs) in einem einzigen computer-system

Sauber Python-Multiprozess-Kündigung abhängig von einer exit-flag

Anzahl der Antworten 2 Antworten
Ich bin versucht, erstellen Sie ein Programm mit mehreren Prozessen, und ich würde gerne sauber beenden Sie alle Prozesse hervorgebracht, wenn Fehler auftreten. unten habe ich geschrieben, einige pseudo-Art code für das, was ich glaube ich tun

Python threading vs. multiprocessing im Linux

Anzahl der Antworten 3 Antworten
Basierend auf dieser Frage ich davon ausgegangen, dass die Schaffung neuen Prozess sollte fast so schnell wie erstellen neuen thread in Linux. Allerdings, kleiner test zeigte ganz anderes Ergebnis. Hier ist mein code: from multiprocessing import Process,

numpy vs. multiprocessing und mmap

Anzahl der Antworten 1 Antworten
Ich bin mit Python multiprocessing - Modul für die Verarbeitung von großen numpy-arrays in parallel. Die arrays sind memory-mapped-mit numpy.load(mmap_mode='r') im master-Prozess. Danach multiprocessing.Pool() Gabeln der Prozess (vermute ich). Alles scheint zu funktionieren gut, außer ich bin

Von Teilprozess.Popen auf multiprocessing

Anzahl der Antworten 1 Antworten
Bekam ich eine Funktion aufruft, die einen Prozess mit subprocess.Popen in der folgenden Weise: def func(): ... process = subprocess.Popen(substr, shell=True, stdout=subprocess.PIPE) timeout = {"value": False} timer = Timer(timeout_sec, kill_proc, [process, timeout]) timer.start() for line in process.stdout:

wie benutze ich das Schlüsselwort-Argumente mit python-multiprocessing-pool apply_async

Anzahl der Antworten 2 Antworten
Ich versuche in den Griff zu bekommen mit Python multiprocessing-Modul, speziell die apply_async Methode der Pool. Ich versuche, eine Funktion aufzurufen, die Argumente-und Schlüsselwort-Argumente. Wenn ich die Funktion aufrufen, ohne kwargs es ist in Ordnung, aber wenn

Teilen sich eine variable zwischen Prozessen

Anzahl der Antworten 4 Antworten
Ich habe einen downloader-Funktion, die downloads von mehreren Dateien parallel. Ich benutze multiprocessing.Pool.map_async zum download der verschiedenen Teile der gleichen Datei. Ich möchte eine statusbar das download. Für diese, die ich brauche, um zu wissen, die Gesamtanzahl

Python multiprocessing innerhalb mpi

Anzahl der Antworten 1 Antworten
Habe ich ein python-script, dass ich geschrieben habe, mit dem multiprocessing-Modul für eine schnellere Ausführung. Die Berechnung ist peinlich parallel, so dass die Effizienz skaliert mit der Anzahl der Prozessoren. Jetzt würde ich gerne diese in ein

Lesen Sie mehrere Dateien mit multiprocessing

Anzahl der Antworten 3 Antworten
Muss ich Lesen, einige sehr große Textdateien (100+ Mb), verarbeiten alle Zeilen mit regex und speichern die Daten in einer Struktur. Meine Struktur erbt von defaultdict, hat es eine lese - (selbst) - Methode, das Lesen selbst.Dateiname-Datei.

Multi-Core-Programmierung. Erhöhung der MPI, OpenMP, TBB, oder etwas anderes?

Anzahl der Antworten 5 Antworten
Ich bin Total ein Anfänger in Multi-Core-Programmierung, aber ich weiß, wie man das Programm C++. Nun, ich bin auf der Suche rund um für Multi-Core-Programmierung Bibliothek. Ich möchte nur, es zu versuchen, nur zum Spaß, und jetzt

MySQL server has gone away - Disconnect-Behandlung über Kasse-event-handler funktioniert nicht

Anzahl der Antworten 4 Antworten
Update 3/4: Habe ich ein paar Tests gemacht und bewiesen, dass die Verwendung von checkout-event-handler, um zu überprüfen, trennt arbeitet mit Elixier. langsam glaube mein problem hat etwas zu tun mit Berufung session.commit() von einem Teilprozess? Update:

Anmeldung mit dem multiprocessing-Wahnsinn

Anzahl der Antworten 3 Antworten
Ich versuche, mithilfe von python-Standard-logging-Modul in einem multiprocessing-Szenario. Ich habe gelesen: Python-Multiprozess -, Logging, Verschiedene Klassen Die Protokollierung mit multiprocessing und andere mehrere Beiträge über multiprocessing -, logging -, python-Klassen und so. Nach all dem Lesen habe

Python-multiprocessing: beschränken Sie die Anzahl der verwendeten Kerne

Anzahl der Antworten 5 Antworten
Ich will wissen, wie die Verteilung von N unabhängigen Aufgaben genau auf die M Prozessoren auf einer Maschine, die L-Kerne, wobei L>M. ich will nicht, um alle Prozessoren zu verwenden, weil ich immer noch wollen, um I/O

Python multiprocessing mit twisted-Reaktor

Anzahl der Antworten 2 Antworten
Arbeite ich an einer xmlrpc-server, die bestimmte Aufgaben ausführen, die sich zyklisch. Ich bin mit twisted-der Kern des xmlrpc-service, aber habe ich ein kleines problem: class cemeteryRPC(xmlrpc.XMLRPC): def __init__(self, dic): xmlrpc.XMLRPC.__init__(self) def xmlrpc_foo(self): return 1 def cycle(self):

Mit python multiprocessing mit unterschiedlichem random-seed für jeden Prozess

Anzahl der Antworten 2 Antworten
Ich möchte mehrere Instanzen einer simulation parallel, aber mit jeder simulation mit seinen eigenen, unabhängigen Datensatz. Derzeit implementiere ich diese wie folgt: P = mp.Pool(ncpus) # Generate pool of workers for j in range(nrun): # Generate processes

Multiprozess-Daemon Nicht Beenden auf die Eltern Verlassen

Anzahl der Antworten 1 Antworten
Habe ich ein Python 2.7 multiprocessing Prozess, der nicht beendet werden, die auf übergeordneten Prozess beenden. Ich habe den daemon-flag, das sollte Kraft es zu beenden auf die Eltern Tod. Die docs erklären: "Wenn ein Prozess beendet

Python-Multiprocessing - Kann Nicht An Aktuellen Thread

Anzahl der Antworten 2 Antworten
Ich arbeite Segmentierung großen ctype-arrays und-Verarbeitung parallel. Ich erhalte den folgenden Fehler und glauben es, weil ein segment des Arrays ist die Verarbeitung beendet worden ist, bevor ein anderer. Ich habe versucht, mit Prozess.join() das erste set

vorbei kwargs mit multiprocessing.pool.anzeigen

Anzahl der Antworten 2 Antworten
Ich würde gerne pass-Schlüsselwort-Argumente zu meinen Sozialarbeiter-Funktion mit Pool.anzeigen(). Ich kann nicht finden, ein deutliches Beispiel beim suchen in Foren. Beispiel-Code: import multiprocessing as mp def worker((x,y), **kwargs): kwarg_test = kwargs.get('kwarg_test', False) print("kwarg_test = {}".format(kwarg_test)) if kwarg_test:

Python-multiprocessing.Warteschlange vs multiprocessing.manager().Queue()

Anzahl der Antworten 1 Antworten
Habe ich eine einfache Aufgabe wie das: def worker(queue): while True: try: _ = queue.get_nowait() except Queue.Empty: break if __name__ == '__main__': manager = multiprocessing.Manager() # queue = multiprocessing.Queue() queue = manager.Queue() for i in range(5): queue.put(i)

Python multiprocessing mit einer Update-Warteschlange und eine output-queue

Anzahl der Antworten 2 Antworten
Wie kann ich ein Skript, ein Python-Multiprozess-mit zwei Warteschlangen wie diese?: man als Arbeits-Warteschlange, beginnt mit einigen Daten und, die, je nach den Bedingungen der Funktionen parallelisiert werden, erhält weitere Aufgaben on-the-fly, anderen, sammelt Ergebnisse und wird

Wie fangen Sie die Ausnahmen bei Arbeitern in Multiprocessing

Anzahl der Antworten 2 Antworten
Arbeite ich mit dem multiprocessing-Modul in Python (2.7.3) und Debuggen möchten, einige Dinge in meine Arbeiter. Aber ich scheine nicht in der Lage sein, um alle Ausnahmen abzufangen, die in den worker-threads. Einem minimal-Beispiel: import multiprocessing as

Multiprocessing auf Windows bricht

Anzahl der Antworten 1 Antworten
Entwickle ich mit Python auf Linux und habe es nie wirklich gesehen, diese Art von problem mit Windows. Ich bin mit der multiprocessing Bibliothek zu beschleunigen von Berechnungen, die sehr gut funktioniert für mich auf Linux. Unter

Teilen viele queues unter-Prozesse in Python

Anzahl der Antworten 1 Antworten
Ich bin mir bewusst multiprocessing.Manager() und wie es verwendet werden kann zum erstellen von gemeinsam genutzten Objekten, insbesondere von Warteschlangen, die geteilt werden können zwischen den Beschäftigten. Es ist diese Frage, diese Frage, diese Frage und sogar

Kolben-multi-Prozess-worker-pool in Python

Anzahl der Antworten 2 Antworten
Bin ich ziemlich verwirrt auf dem besten Weg, das zu tun, was ich zu tun versuche. Habe ich eine Reihe von jobs, die eine Menge Zeit zu verarbeiten, und so möchte ich zum initialisieren einer erheblichen pool

ARM: Start/Wakeup/Bringup die anderen CPU-Kerne/APs und passieren Sie die start-Adresse?

Anzahl der Antworten 4 Antworten
Ich habe schlug meinen Kopf mit diesem für die letzten 3-4 Tage und ich kann nicht finden, eine ANSTÄNDIGE Begründung Dokumentation (von ARM oder inoffiziell), um mir zu helfen. Ich habe einen ODROID-XU board (big.WENIG 2 x

Asynchrones multiprocessing mit einem Arbeitnehmer-pool in Python: wie weitermachen nach timeout?

Anzahl der Antworten 3 Antworten
Ich würde gerne eine Reihe von Aufträgen mit einem pool von Prozessen und anwenden einer bestimmten Zeitlimit nach dem ein Auftrag getötet werden sollten und durch eine andere ersetzt mit der nächsten Aufgabe. Habe ich versucht, die

Wie verwenden von shared memory bei Java-threads?

Anzahl der Antworten 4 Antworten
Ich die Umsetzung einer multi-threaded-Programm in Java, wo jede thread ist eine Art class Node extends Thread. Alle diese Klassen erzeugen bestimmte Werte, die verwendet werden, die von anderen Klassen. Für main es ist einfach, um die

Multiprocessing mit mehreren Argumenten für Funktion in Python 2.7

Anzahl der Antworten 3 Antworten
Ich versuche, umzusetzen multiprocessing, um die Geschwindigkeit eines Replikations-Schleife, aber nicht in Python27. Dies ist eine sehr vereinfachte version von meinem Programm, basierend auf die docs und die anderen Antworten hier SO (z.B. Python-multiprocessing-pool.anzeigen für multiple Argumente).

Python ssl-problem mit multiprocessing

Anzahl der Antworten 1 Antworten
Ich möchte zum senden von Daten von einem client an den server eine TLS-TCP-socket vom client mehrere Teilprozesse, so Teile ich die gleiche ssl-socket mit dem alle Teilprozesse. Die Kommunikation funktioniert mit einem Unterprozess, aber wenn ich

python-multiprocessing-lock-Problem

Anzahl der Antworten 1 Antworten
Möchte ich hinzufügen, eine Liste von dicts zusammen mit python-multiprocessing-Modul. Hier ist eine vereinfachte version meines Codes: #!/usr/bin/python2.7 # -*- coding: utf-8 -*- import multiprocessing import functools import time def merge(lock, d1, d2): time.sleep(5) # some time

was ist der Wertebereich der thread und Prozess-id?

Anzahl der Antworten 4 Antworten
fork und pthread_create gibt eine Prozess-id oder thread-id. Aber ich weiß nicht, der Wertebereich dieser ids. Nun möchte ich eine lookup-Tabelle, in der jedem Eintrag gibt es ein Element/Feld für die thread-id. die Struktur jeder Eintrag ist

Warum bekomme ich einen import-Fehler für den Import-Prozess auf python 3.3?

Anzahl der Antworten 1 Antworten
Ich erhalte die folgende Fehlermeldung beim importieren in python 3.3. Gibt es einen Grund, würde ich so einen Fehler, oder ist das ein bug? Ich bin mit der django-server in einem anderen terminal-Fenster, aber ich bezweifle, dass

python-multiprocessing-pool, warten Sie, bis die Prozesse und starten Sie benutzerdefinierte Prozesse

Anzahl der Antworten 1 Antworten
Früher habe ich python multiprocessing und tun, warten, dass alle Prozesse mit diesem code: ... results = for i in range(num_extract): url = queue.get(timeout=5) try: print "START PROCESS!" result = pool.apply_async(process, [host,url],callback=callback) results.append(result) except Exception,e: continue

ProcessPoolExecutor aus der gleichzeitigen.futures Weise langsamer als multiprocessing.Pool

Anzahl der Antworten 1 Antworten
Ich war das Experimentieren mit neuen glänzenden gleichzeitige.futures - Modul eingeführt, in Python 3.2, und ich habe bemerkt, daß, mit fast identischen code, mit dem Pool von gleichzeitigen.futures ist Weg langsamer als mit multiprocessing.Pool. Dies ist die

Python-multiprocessing: Wie kann ich ZUVERLÄSSIG umleiten von stdout von einem Kind-Prozess?

Anzahl der Antworten 4 Antworten
NB. Ich habe gesehen, Log-Ausgabe von multiprocessing.Prozess - leider, es gibt keine Antwort auf diese Frage. Erstelle ich ein child-Prozess (unter windows) über multiprocessing. Ich will alle des child-Prozesses auf stdout-und stderr-Ausgabe umgeleitet zu werden in einer

Wie zu töten alle Pool-Arbeiter in Multiprozess?

Anzahl der Antworten 2 Antworten
Ich soll aufhören alle threads, die von einem einzigen Arbeiter. Ich habe einen thread-pool mit 10 Arbeitnehmern: def myfunction(i): print(i) if (i == 20): sys.exit() p = multiprocessing.Pool(10, init_worker) for i in range(100): p.apply_async(myfunction, (i,)) Mein Programm

Multiprocessing Queue maxsize-limit ist 32767

Anzahl der Antworten 3 Antworten
Ich versuche zu schreiben, ein Python 2.6 (OSX) Programm mit multiprocessing und ich wollen füllen Sie eine Warteschlange mit mehr als der Standardwert ist 32767 Elemente. from multiprocessing import Queue Queue(2**15) # raises OSError Queue(32767) funktioniert gut,

Mulitprocess-Pools mit verschiedenen Funktionen

Anzahl der Antworten 3 Antworten
Meisten Beispiele der Multiprozess-Worker-Pools ausführen einer einzelnen Funktion, die in verschiedenen Prozessen f.e. def foo(args): pass if __name__ == '__main__': pool = multiprocessing.Pool(processes=30) res=pool.map_async(foo,args) Gibt es eine Möglichkeit, um zwei verschiedene und voneinander unabhängige Funktionen in den

Python-Threads Hängen

Anzahl der Antworten 6 Antworten
Ich habe ein einfaches threaded Python-Programm des standard-Paradigma: class SearchThread(threading.Thread): def __init__(self, search_queue): threading.Thread.__init__(self) self.search_queue = search_queue def run(self): while True: try: search_url = self.search_queue.get(timeout=15) # <do Internet search and print output/> except Queue.Empty: self.search_queue.task_done() break except

Schreiben in eine Datei mit multiprocessing

Anzahl der Antworten 3 Antworten
Ich habe Folgendes problem in python. Muss ich tun, einige Berechnungen parallel, deren Ergebnisse ich müssen geschrieben werden sequentiell in eine Datei. So habe ich eine Funktion, die Sie empfängt, eine multiprocessing.Queue und ein Datei-handle, die Berechnung

Python: das Schreiben auf eine einzige Datei mit dem queue während der Verwendung von multiprocessing Pool

Anzahl der Antworten 2 Antworten
Ich habe Hunderte von tausenden von text-Dateien, die möchte ich analysieren, auf verschiedene Weise. Ich möchte speichern Sie die Ausgabe in eine einzelne Datei ohne Probleme bei der Synchronisierung. Ich habe mit multiprocessing-pool, um dies zu tun,

python-multiprocessing: einige Funktionen nicht zurückgegeben werden, wenn Sie komplett sind (Warteschlange material zu groß)

Anzahl der Antworten 1 Antworten
Ich bin mit multiprocessing -, Prozess-und Queue. Ich starte mehrere Funktionen parallel und die meisten Verhalten sich freundlich: Sie beenden, Ihren Ausgang geht in Ihre Warteschlange, und Sie zeigen, wie .is_alive() == False. Aber aus irgendeinem Grund,

Wie Anhängen des Debuggers an ein python-subproccess?

Anzahl der Antworten 6 Antworten
Ich Debuggen müssen, ein Kind-Prozess erzeugt, indem multiprocessing.Process(). Die pdb degugger scheint zu sein, nichts von "forking" und nicht in der Lage zu befestigen, in bereits laufende Prozesse. Gibt es intelligentere python-Debugger, die angeschlossen werden können, um

wie zu tun multiprocessing in java, und was Geschwindigkeitssteigerungen zu erwarten?

Anzahl der Antworten 6 Antworten
Ich bin ein Neuling mit Java zu tun, einige Verarbeitung der Daten auf csv-Dateien. Für die Verwendung des multithreading-Fähigkeiten von Java (Becken des threads), um batch-import der csv-Dateien in Java und führen Sie einige Operationen auf jede

python-multiprocessing - Prozess hängt mitmachen für große Warteschlange

Anzahl der Antworten 4 Antworten
Ich bin mit python 2.7.3 und mir ist aufgefallen das Folgendes merkwürdige Verhalten. Betrachten Sie dieses minimal-Beispiel: from multiprocessing import Process, Queue def foo(qin, qout): while True: bar = qin.get() if bar is None: break qout.put({'bar': bar})

pandas gelten multiprocessing

Anzahl der Antworten 5 Antworten
Ich versuche, multiprocessing mit pandas dataframe, ist split der dataframe zu 8 Teile. wendet eine Funktion auf jedes Teil mit apply (mit jedem Teil verarbeitet in verschiedenen Verfahren). BEARBEITEN: Hier ist die Lösung, die ich schließlich gefunden:

multiprocessing vs multithreading vs asyncio in Python 3.4

Anzahl der Antworten 2 Antworten
Fand ich, dass in Python 3.4 gibt es nur wenige verschiedene Bibliotheken für multiprocessing/- threading: multiprocessing vs threading vs asyncio. Aber ich weiß nicht, was man verwenden oder ist das "empfehlenswert". Tun Sie das gleiche, oder sind

Griff lang andauernde Prozesse in NodeJS?

Anzahl der Antworten 2 Antworten
Ich habe gesehen, einige ältere Beiträge berühren das Thema, aber ich wollte wissen, was die heutigen, modernen Ansatz. Der Anwendungsfall ist: (1) angenommen, Sie wollen eine lange laufende Aufgabe auf eine video-Datei, sagen wir 60 Sekunden lang,

Können wir führen Sie multi-Prozess - - Programm in docker?

Anzahl der Antworten 2 Antworten
Habe ich einige code mit multi-Prozess wie diesem: import multiprocessing from multiprocessing import Pool pool = Pool(processes=100) result = for job in job_list: result.append( pool.apply_async( handle_job, (job) ) ) pool.close() pool.join() Dieses Programm tut, schwere Berechnungen

multiprocessing multithreading oder

Anzahl der Antworten 8 Antworten
Ich bin der Gestaltung einer dedizierten syslog-Verarbeitung-daemon für Linux, der muss robust und skalierbar, und ich bin debattieren Multithreading vs. Multiprozess. Den offensichtlichen Widerspruch mit multithreading ist die Komplexität und böse Fehler. Multi-Prozesse auf die Leistung auswirken

Wie kann ich dies vermeiden, Beizen Fehler, und was ist der beste Weg zu parallelisieren Sie diesen code in Python?

Anzahl der Antworten 1 Antworten
Ich habe den folgenden code. def main(): (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv for i in range(minI, maxI, iStep): for j in range(minJ, maxJ, jStep): p = multiprocessing.Process(target=functionA, args=(minI, minJ)) p.start() def