Tag: python-multiprocessing

multiprocessing ist ein Paket, das unterstützt die Laichzeit Prozesse über eine API ähnlich wie das threading-Modul in der Programmiersprache python.

Python-multiprocessing.Warteschlange vs multiprocessing.manager().Queue()

Anzahl der Antworten 1 Antworten
Habe ich eine einfache Aufgabe wie das: def worker(queue): while True: try: _ = queue.get_nowait() except Queue.Empty: break if __name__ == '__main__': manager = multiprocessing.Manager() # queue = multiprocessing.Queue() queue = manager.Queue() for i in range(5): queue.put(i)

Teilen viele queues unter-Prozesse in Python

Anzahl der Antworten 1 Antworten
Ich bin mir bewusst multiprocessing.Manager() und wie es verwendet werden kann zum erstellen von gemeinsam genutzten Objekten, insbesondere von Warteschlangen, die geteilt werden können zwischen den Beschäftigten. Es ist diese Frage, diese Frage, diese Frage und sogar

Fortschritte Messen mit python-multiprocessing-Pool und map-Funktion

Anzahl der Antworten 1 Antworten
Folgenden code verwende ich für die parallele csv-Verarbeitung: #!/usr/bin/env python import csv from time import sleep from multiprocessing import Pool from multiprocessing import cpu_count from multiprocessing import current_process from pprint import pprint as pp def init_worker(x): sleep(.5)

multiprocessing: auf der Karte vs map_async

Anzahl der Antworten 1 Antworten
Was ist der Unterschied zwischen der Verwendung map und map_async? Sind Sie nicht der gleichen Funktion nach der Verteilung der Elemente aus der Liste zu 4 Prozesse? Also ist es falsch zu vermuten, beide laufen asynchron und

Ausführen mehrerer tensorflow-Sitzungen gleichzeitig

Anzahl der Antworten 3 Antworten
Ich versuche zu laufen mehrere Sitzungen der TensorFlow gleichzeitig auf einem CentOS-7-Computer mit 64 CPUs. Mein Kollege berichtet, dass er die folgenden beiden code-Blöcke zu produzieren, die eine parallele speedup auf seiner Maschine mit 4 Kernen: mnist.py

Was ist der Unterschied zwischen ThreadPool-vs Pool in Python-multiprocessing-Modul

Anzahl der Antworten 1 Antworten
Was ist der Unterschied zwischen ThreadPool und Pool im multiprocessing Modul. Wenn ich versuche meinen code aus, dies ist der wichtigste Unterschied, den ich sehe: from multiprocessing import Pool import os, time print("hi outside of main()") def

Python Multiprocessing Fehlermeldung: AttributeError: module '__main__' hat kein Attribut '__spec__'

Anzahl der Antworten 2 Antworten
Ich bin mit Python 3.6 und versuche zu Folgen zusammen mit dem ersten Beispiel auf der folgenden website (vollständigen code auch unten) und erhalte die folgende Fehlermeldung: https://docs.python.org/3.6/library/multiprocessing.html Fehlermeldung: AttributeError: module '__main__' has no attribute '__spec__' Vollständige

Multiprocessing-Pool mit einer for-Schleife

Anzahl der Antworten 1 Antworten
Habe ich eine Liste der Dateien, ich pass in eine for-Schleife und eine ganze Reihe von Funktionen. Was ist der einfachste Weg zu parallelisieren? Nicht sicher, ob ich finden konnte, genau dieses Ding überall und ich denke,

Python-multiprocessing-Modul: join-Prozesse mit timeout

Anzahl der Antworten 3 Antworten
im tun, eine Optimierung der Parameter einer komplexen simulation. Im mit dem multiprocessing-Modul für die Steigerung der Leistungsfähigkeit der Optimierungs-Algorithmus. Die Grundlagen des multiprocessing ich gelernt, bei http://pymotw.com/2/multiprocessing/basics.html. Die komplexe simulation dauert verschiedenen Zeiten je nach den

Python-multiprocessing.cpu_count() liefert '1' auf 4-Kern-Nvidia Jetson TK1

Anzahl der Antworten 1 Antworten
Kann mir jemand sagen, warum Python ' s multiprocessing.cpu_count() Funktion zurückkehren würde 1 wenn beim Aufruf einer Jetson TK1 mit vier ARMv7-Prozessoren? >>> import multiprocessing >>> multiprocessing.cpu_count() 1 Dem Jetson TK1 board ist mehr oder weniger direkt

python pool apply_async und map_async blockieren Sie nicht auf volle Warteschlange

Anzahl der Antworten 4 Antworten
Bin ich Recht neu bei python. Ich bin mit dem multiprocessing-Modul zum Lesen von Zeilen text auf der Standardeingabe, konvertiert Sie in gewisser Weise, und schreiben Sie in eine Datenbank. Hier ist ein Ausschnitt von meinem code:

wie Sie auf Prozess beenden mit python-multiprocessing

Anzahl der Antworten 3 Antworten
Ich habe einige code, der ausgeführt werden muss gegen mehrere andere Systeme, die hängen können, oder Probleme haben, die nicht unter meiner Kontrolle. Ich möchte mit python multiprocessing, um zu laichen Kind-Prozesse laufen unabhängig von der Haupt-Programm

Erhalt pid des child-Prozess

Anzahl der Antworten 5 Antworten
Ich bin mit python-multiprocessing-Modul, um zu laichen neue Prozess wie folgt : import multiprocessing import os d = multiprocessing.Process(target=os.system,args=('iostat 2 > a.txt',)) d.start() Möchte ich erhalten, pid iostat-Befehl oder den Befehl ausgeführt mit multiprocessing Modul Wenn ich

Wie kann ich eine Klasse zwischen Prozessen?

Anzahl der Antworten 1 Antworten
Ich will ein globales Objekt, das geteilt und aktualisiert alle Prozesse mit einem minimum sperren. import multiprocessing class Counter(object): def __init__(self): self.value = 0 def update(self, value): self.value += value def update(counter_proxy, thread_id): counter_proxy.value.update(1) print counter_proxy.value.value, 't%s'

multiprocessing.Pool in jupyter notebook funktioniert unter linux aber nicht unter windows

Anzahl der Antworten 1 Antworten
Ich versuche zu laufen, ein paar unabhängige Berechnungen (obwohl das Lesen aus den gleichen Daten). Mein code funktioniert, wenn ich es auf Ubuntu, aber nicht unter Windows (windows server 2012 R2), wo bekomme ich die Fehlermeldung: 'module'

Python-multiprocessing : auf der Karte vs map_async

Anzahl der Antworten 1 Antworten
Was ist der Unterschied zwischen map und map_async, Sind Sie nicht der gleichen Funktion nach der Verteilung der Elemente aus der Liste zu 4 Prozessen. So ist es falsch zu vermuten, beide laufen asynchron und parallel. def

Wann sollten wir multiprocessing.Pool.join aufrufen?

Anzahl der Antworten 2 Antworten
Ich bin mit 'Multiprozess.Pool.imap_unordered' wie folgt from multiprocessing import Pool pool = Pool() for mapped_result in pool.imap_unordered(mapping_func, args_iter): do some additional processing on mapped_result Muss ich anrufen pool.close oder pool.join nach der for-Schleife? InformationsquelleAutor der Frage Chonghao

Verständnis Multiprozessing: Shared Memory Management, Sperren und Warteschlangen in Python

Anzahl der Antworten 1 Antworten
Multiprocessing ist ein mächtiges Werkzeug in python, und ich will es verstehen, mehr in die Tiefe. Ich will wissen, Wann regelmäßige Sperren und Warteschlangen und Wann eine multiprocessing Manager teilen diese unter alle Prozesse. Kam ich mit

multiprocessing.Pool: Was ist der Unterschied zwischen map_async und imap?

Anzahl der Antworten 1 Antworten
Ich versuche zu lernen, wie man Python ' s multiprocessing Paket, aber ich verstehe nicht den Unterschied zwischen map_async und imap. Ich bemerkte, dass beide map_async und imap werden asynchron ausgeführt. Also Wann sollte ich einen über

Wie kann ich den Rückgabewert einer Funktion, die an Multiprocessing übergeben wurde, wiederherstellen.Process?

Anzahl der Antworten 8 Antworten
Im Beispiel-code unten, würde ich mag, um zu genesen der Rückgabewert der Funktion worker. Wie kann ich über das tun dies? Wo wird dieser Wert gespeichert? Beispiel-Code: import multiprocessing def worker(procnum): '''worker function''' print str(procnum) + '

Ist es möglich, die Funktion in einem Subprozess ohne Threading oder Schreiben einer separaten Datei / eines separaten Skripts auszuführen?

Anzahl der Antworten 3 Antworten
import subprocess def my_function(x): return x + 100 output = subprocess.Popen(my_function, 1) #I would like to pass the function object and its arguments print output #desired output: 101 Habe ich nur gefunden Dokumentation über die öffnung der