Tag: multiprocessing
Multiprocessing ist die Verwendung von zwei oder mehrere central processing units (CPUs) in einem einzigen computer-system
2
Antworten
Ich bin versucht, erstellen Sie ein Programm mit mehreren Prozessen, und ich würde gerne sauber beenden Sie alle Prozesse hervorgebracht, wenn Fehler auftreten. unten habe ich geschrieben, einige pseudo-Art code für das, was ich glaube ich tun
3
Antworten
Basierend auf dieser Frage ich davon ausgegangen, dass die Schaffung neuen Prozess sollte fast so schnell wie erstellen neuen thread in Linux. Allerdings, kleiner test zeigte ganz anderes Ergebnis. Hier ist mein code: from multiprocessing import Process,
1
Antworten
Ich bin mit Python multiprocessing - Modul für die Verarbeitung von großen numpy-arrays in parallel. Die arrays sind memory-mapped-mit numpy.load(mmap_mode='r') im master-Prozess. Danach multiprocessing.Pool() Gabeln der Prozess (vermute ich). Alles scheint zu funktionieren gut, außer ich bin
1
Antworten
Bekam ich eine Funktion aufruft, die einen Prozess mit subprocess.Popen in der folgenden Weise: def func(): ... process = subprocess.Popen(substr, shell=True, stdout=subprocess.PIPE) timeout = {"value": False} timer = Timer(timeout_sec, kill_proc, [process, timeout]) timer.start() for line in process.stdout:
2
Antworten
Ich versuche in den Griff zu bekommen mit Python multiprocessing-Modul, speziell die apply_async Methode der Pool. Ich versuche, eine Funktion aufzurufen, die Argumente-und Schlüsselwort-Argumente. Wenn ich die Funktion aufrufen, ohne kwargs es ist in Ordnung, aber wenn
4
Antworten
Ich habe einen downloader-Funktion, die downloads von mehreren Dateien parallel. Ich benutze multiprocessing.Pool.map_async zum download der verschiedenen Teile der gleichen Datei. Ich möchte eine statusbar das download. Für diese, die ich brauche, um zu wissen, die Gesamtanzahl
1
Antworten
Habe ich ein python-script, dass ich geschrieben habe, mit dem multiprocessing-Modul für eine schnellere Ausführung. Die Berechnung ist peinlich parallel, so dass die Effizienz skaliert mit der Anzahl der Prozessoren. Jetzt würde ich gerne diese in ein
3
Antworten
Muss ich Lesen, einige sehr große Textdateien (100+ Mb), verarbeiten alle Zeilen mit regex und speichern die Daten in einer Struktur. Meine Struktur erbt von defaultdict, hat es eine lese - (selbst) - Methode, das Lesen selbst.Dateiname-Datei.
5
Antworten
Ich bin Total ein Anfänger in Multi-Core-Programmierung, aber ich weiß, wie man das Programm C++. Nun, ich bin auf der Suche rund um für Multi-Core-Programmierung Bibliothek. Ich möchte nur, es zu versuchen, nur zum Spaß, und jetzt
4
Antworten
Update 3/4: Habe ich ein paar Tests gemacht und bewiesen, dass die Verwendung von checkout-event-handler, um zu überprüfen, trennt arbeitet mit Elixier. langsam glaube mein problem hat etwas zu tun mit Berufung session.commit() von einem Teilprozess? Update:
3
Antworten
Ich versuche, mithilfe von python-Standard-logging-Modul in einem multiprocessing-Szenario. Ich habe gelesen: Python-Multiprozess -, Logging, Verschiedene Klassen Die Protokollierung mit multiprocessing und andere mehrere Beiträge über multiprocessing -, logging -, python-Klassen und so. Nach all dem Lesen habe
5
Antworten
Ich will wissen, wie die Verteilung von N unabhängigen Aufgaben genau auf die M Prozessoren auf einer Maschine, die L-Kerne, wobei L>M. ich will nicht, um alle Prozessoren zu verwenden, weil ich immer noch wollen, um I/O
2
Antworten
Arbeite ich an einer xmlrpc-server, die bestimmte Aufgaben ausführen, die sich zyklisch. Ich bin mit twisted-der Kern des xmlrpc-service, aber habe ich ein kleines problem: class cemeteryRPC(xmlrpc.XMLRPC): def __init__(self, dic): xmlrpc.XMLRPC.__init__(self) def xmlrpc_foo(self): return 1 def cycle(self):
2
Antworten
Ich möchte mehrere Instanzen einer simulation parallel, aber mit jeder simulation mit seinen eigenen, unabhängigen Datensatz. Derzeit implementiere ich diese wie folgt: P = mp.Pool(ncpus) # Generate pool of workers for j in range(nrun): # Generate processes
1
Antworten
Habe ich ein Python 2.7 multiprocessing Prozess, der nicht beendet werden, die auf übergeordneten Prozess beenden. Ich habe den daemon-flag, das sollte Kraft es zu beenden auf die Eltern Tod. Die docs erklären: "Wenn ein Prozess beendet
2
Antworten
Ich arbeite Segmentierung großen ctype-arrays und-Verarbeitung parallel. Ich erhalte den folgenden Fehler und glauben es, weil ein segment des Arrays ist die Verarbeitung beendet worden ist, bevor ein anderer. Ich habe versucht, mit Prozess.join() das erste set
2
Antworten
Ich würde gerne pass-Schlüsselwort-Argumente zu meinen Sozialarbeiter-Funktion mit Pool.anzeigen(). Ich kann nicht finden, ein deutliches Beispiel beim suchen in Foren. Beispiel-Code: import multiprocessing as mp def worker((x,y), **kwargs): kwarg_test = kwargs.get('kwarg_test', False) print("kwarg_test = {}".format(kwarg_test)) if kwarg_test:
1
Antworten
Habe ich eine einfache Aufgabe wie das: def worker(queue): while True: try: _ = queue.get_nowait() except Queue.Empty: break if __name__ == '__main__': manager = multiprocessing.Manager() # queue = multiprocessing.Queue() queue = manager.Queue() for i in range(5): queue.put(i)
2
Antworten
Wie kann ich ein Skript, ein Python-Multiprozess-mit zwei Warteschlangen wie diese?: man als Arbeits-Warteschlange, beginnt mit einigen Daten und, die, je nach den Bedingungen der Funktionen parallelisiert werden, erhält weitere Aufgaben on-the-fly, anderen, sammelt Ergebnisse und wird
2
Antworten
Arbeite ich mit dem multiprocessing-Modul in Python (2.7.3) und Debuggen möchten, einige Dinge in meine Arbeiter. Aber ich scheine nicht in der Lage sein, um alle Ausnahmen abzufangen, die in den worker-threads. Einem minimal-Beispiel: import multiprocessing as
1
Antworten
Entwickle ich mit Python auf Linux und habe es nie wirklich gesehen, diese Art von problem mit Windows. Ich bin mit der multiprocessing Bibliothek zu beschleunigen von Berechnungen, die sehr gut funktioniert für mich auf Linux. Unter
1
Antworten
Ich bin mir bewusst multiprocessing.Manager() und wie es verwendet werden kann zum erstellen von gemeinsam genutzten Objekten, insbesondere von Warteschlangen, die geteilt werden können zwischen den Beschäftigten. Es ist diese Frage, diese Frage, diese Frage und sogar
2
Antworten
Bin ich ziemlich verwirrt auf dem besten Weg, das zu tun, was ich zu tun versuche. Habe ich eine Reihe von jobs, die eine Menge Zeit zu verarbeiten, und so möchte ich zum initialisieren einer erheblichen pool
4
Antworten
Ich habe schlug meinen Kopf mit diesem für die letzten 3-4 Tage und ich kann nicht finden, eine ANSTÄNDIGE Begründung Dokumentation (von ARM oder inoffiziell), um mir zu helfen. Ich habe einen ODROID-XU board (big.WENIG 2 x
3
Antworten
Ich würde gerne eine Reihe von Aufträgen mit einem pool von Prozessen und anwenden einer bestimmten Zeitlimit nach dem ein Auftrag getötet werden sollten und durch eine andere ersetzt mit der nächsten Aufgabe. Habe ich versucht, die
4
Antworten
Ich die Umsetzung einer multi-threaded-Programm in Java, wo jede thread ist eine Art class Node extends Thread. Alle diese Klassen erzeugen bestimmte Werte, die verwendet werden, die von anderen Klassen. Für main es ist einfach, um die
3
Antworten
Ich versuche, umzusetzen multiprocessing, um die Geschwindigkeit eines Replikations-Schleife, aber nicht in Python27. Dies ist eine sehr vereinfachte version von meinem Programm, basierend auf die docs und die anderen Antworten hier SO (z.B. Python-multiprocessing-pool.anzeigen für multiple Argumente).
1
Antworten
Ich möchte zum senden von Daten von einem client an den server eine TLS-TCP-socket vom client mehrere Teilprozesse, so Teile ich die gleiche ssl-socket mit dem alle Teilprozesse. Die Kommunikation funktioniert mit einem Unterprozess, aber wenn ich
1
Antworten
Möchte ich hinzufügen, eine Liste von dicts zusammen mit python-multiprocessing-Modul. Hier ist eine vereinfachte version meines Codes: #!/usr/bin/python2.7 # -*- coding: utf-8 -*- import multiprocessing import functools import time def merge(lock, d1, d2): time.sleep(5) # some time
4
Antworten
fork und pthread_create gibt eine Prozess-id oder thread-id. Aber ich weiß nicht, der Wertebereich dieser ids. Nun möchte ich eine lookup-Tabelle, in der jedem Eintrag gibt es ein Element/Feld für die thread-id. die Struktur jeder Eintrag ist
1
Antworten
Ich erhalte die folgende Fehlermeldung beim importieren in python 3.3. Gibt es einen Grund, würde ich so einen Fehler, oder ist das ein bug? Ich bin mit der django-server in einem anderen terminal-Fenster, aber ich bezweifle, dass
1
Antworten
Früher habe ich python multiprocessing und tun, warten, dass alle Prozesse mit diesem code: ... results = for i in range(num_extract): url = queue.get(timeout=5) try: print "START PROCESS!" result = pool.apply_async(process, [host,url],callback=callback) results.append(result) except Exception,e: continue
1
Antworten
Ich war das Experimentieren mit neuen glänzenden gleichzeitige.futures - Modul eingeführt, in Python 3.2, und ich habe bemerkt, daß, mit fast identischen code, mit dem Pool von gleichzeitigen.futures ist Weg langsamer als mit multiprocessing.Pool. Dies ist die
4
Antworten
NB. Ich habe gesehen, Log-Ausgabe von multiprocessing.Prozess - leider, es gibt keine Antwort auf diese Frage. Erstelle ich ein child-Prozess (unter windows) über multiprocessing. Ich will alle des child-Prozesses auf stdout-und stderr-Ausgabe umgeleitet zu werden in einer
2
Antworten
Ich soll aufhören alle threads, die von einem einzigen Arbeiter. Ich habe einen thread-pool mit 10 Arbeitnehmern: def myfunction(i): print(i) if (i == 20): sys.exit() p = multiprocessing.Pool(10, init_worker) for i in range(100): p.apply_async(myfunction, (i,)) Mein Programm
3
Antworten
Ich versuche zu schreiben, ein Python 2.6 (OSX) Programm mit multiprocessing und ich wollen füllen Sie eine Warteschlange mit mehr als der Standardwert ist 32767 Elemente. from multiprocessing import Queue Queue(2**15) # raises OSError Queue(32767) funktioniert gut,
3
Antworten
Meisten Beispiele der Multiprozess-Worker-Pools ausführen einer einzelnen Funktion, die in verschiedenen Prozessen f.e. def foo(args): pass if __name__ == '__main__': pool = multiprocessing.Pool(processes=30) res=pool.map_async(foo,args) Gibt es eine Möglichkeit, um zwei verschiedene und voneinander unabhängige Funktionen in den
6
Antworten
Ich habe ein einfaches threaded Python-Programm des standard-Paradigma: class SearchThread(threading.Thread): def __init__(self, search_queue): threading.Thread.__init__(self) self.search_queue = search_queue def run(self): while True: try: search_url = self.search_queue.get(timeout=15) # <do Internet search and print output/> except Queue.Empty: self.search_queue.task_done() break except
3
Antworten
Ich habe Folgendes problem in python. Muss ich tun, einige Berechnungen parallel, deren Ergebnisse ich müssen geschrieben werden sequentiell in eine Datei. So habe ich eine Funktion, die Sie empfängt, eine multiprocessing.Queue und ein Datei-handle, die Berechnung
2
Antworten
Ich habe Hunderte von tausenden von text-Dateien, die möchte ich analysieren, auf verschiedene Weise. Ich möchte speichern Sie die Ausgabe in eine einzelne Datei ohne Probleme bei der Synchronisierung. Ich habe mit multiprocessing-pool, um dies zu tun,
1
Antworten
Ich bin mit multiprocessing -, Prozess-und Queue. Ich starte mehrere Funktionen parallel und die meisten Verhalten sich freundlich: Sie beenden, Ihren Ausgang geht in Ihre Warteschlange, und Sie zeigen, wie .is_alive() == False. Aber aus irgendeinem Grund,
6
Antworten
Ich Debuggen müssen, ein Kind-Prozess erzeugt, indem multiprocessing.Process(). Die pdb degugger scheint zu sein, nichts von "forking" und nicht in der Lage zu befestigen, in bereits laufende Prozesse. Gibt es intelligentere python-Debugger, die angeschlossen werden können, um
6
Antworten
Ich bin ein Neuling mit Java zu tun, einige Verarbeitung der Daten auf csv-Dateien. Für die Verwendung des multithreading-Fähigkeiten von Java (Becken des threads), um batch-import der csv-Dateien in Java und führen Sie einige Operationen auf jede
4
Antworten
Ich bin mit python 2.7.3 und mir ist aufgefallen das Folgendes merkwürdige Verhalten. Betrachten Sie dieses minimal-Beispiel: from multiprocessing import Process, Queue def foo(qin, qout): while True: bar = qin.get() if bar is None: break qout.put({'bar': bar})
5
Antworten
Ich versuche, multiprocessing mit pandas dataframe, ist split der dataframe zu 8 Teile. wendet eine Funktion auf jedes Teil mit apply (mit jedem Teil verarbeitet in verschiedenen Verfahren). BEARBEITEN: Hier ist die Lösung, die ich schließlich gefunden:
2
Antworten
Fand ich, dass in Python 3.4 gibt es nur wenige verschiedene Bibliotheken für multiprocessing/- threading: multiprocessing vs threading vs asyncio. Aber ich weiß nicht, was man verwenden oder ist das "empfehlenswert". Tun Sie das gleiche, oder sind
2
Antworten
Ich habe gesehen, einige ältere Beiträge berühren das Thema, aber ich wollte wissen, was die heutigen, modernen Ansatz. Der Anwendungsfall ist: (1) angenommen, Sie wollen eine lange laufende Aufgabe auf eine video-Datei, sagen wir 60 Sekunden lang,
2
Antworten
Habe ich einige code mit multi-Prozess wie diesem: import multiprocessing from multiprocessing import Pool pool = Pool(processes=100) result = for job in job_list: result.append( pool.apply_async( handle_job, (job) ) ) pool.close() pool.join() Dieses Programm tut, schwere Berechnungen
8
Antworten
Ich bin der Gestaltung einer dedizierten syslog-Verarbeitung-daemon für Linux, der muss robust und skalierbar, und ich bin debattieren Multithreading vs. Multiprozess. Den offensichtlichen Widerspruch mit multithreading ist die Komplexität und böse Fehler. Multi-Prozesse auf die Leistung auswirken
1
Antworten
Ich habe den folgenden code. def main(): (minI, maxI, iStep, minJ, maxJ, jStep, a, b, numProcessors) = sys.argv for i in range(minI, maxI, iStep): for j in range(minJ, maxJ, jStep): p = multiprocessing.Process(target=functionA, args=(minI, minJ)) p.start() def