Tag: multiprocessing
Multiprocessing ist die Verwendung von zwei oder mehrere central processing units (CPUs) in einem einzigen computer-system
Python: die Verwendung von multiprocessing auf ein pandas dataframe
2 Antworten
Möchte ich multiprocessing auf einem großen Datensatz zu finden, den Abstand zwischen zwei gps-Punkte. Ich konstruierte test-set, aber ich war nicht in der Lage zu bekommen multiprocessing arbeiten auf diesem Satz. import pandas as pd from geopy.distance
Dumping eine multiprocessing.Warteschlange in einer Liste
2 Antworten
Möchte ich ein dump multiprocessing.Queue in eine Liste. Für diese Aufgabe, die ich geschrieben habe die folgende Funktion: import Queue def dump_queue(queue): """ Empties all pending items in a queue and returns them in a list. """
Multiprocessing einer for-Schleife?
3 Antworten
Ich habe ein array (namens data_inputs) mit den Namen von Hunderten von Astronomie-Bilder Dateien. Diese Bilder sind dann manipuliert. Mein code funktioniert und dauert ein paar Sekunden, um zu verarbeiten, jedes Bild. Es kann jedoch nur ein
Gevent monkeypatching brechen multiprocessing
5 Antworten
Ich bin versucht, multiprocessing-pool, eine Gruppe von Prozessen, von denen jeder ein gevent pool von greenlets. Der Grund dafür ist, dass es eine Menge von Netzwerk-Aktivität, sondern auch eine Menge der CPU-Aktivität, also zu maximieren, meine Bandbreite
Sicher haben mehrere Prozesse schreiben in die gleiche Datei zur gleichen Zeit? [CentOs 6, ext4]
2 Antworten
Ich Baue ein system, in dem mehrere slave-Prozesse kommunizieren über unix-domain-sockets, und Sie sind schriftlich an die gleiche Datei zur gleichen Zeit. Ich habe nie studiert Dateisysteme oder dieses spezielle Dateisystem (ext4), aber es fühlt sich an
Shared-variable in python multiprocessing
1 Antworten
Erste Frage ist, was ist der Unterschied zwischen Wert und Manager().Wert? Zweiten, ist es möglich, zu teilen integer-variable ohne die Verwendung von Value? Unten ist mein Beispiel-code. Was ich will, ist immer ein dict mit einem Wert
Mithilfe von Python-Multiprocessing-Modul zum ausführen von simultanen und separaten SEAWAT/MODFLOW-Modell läuft
2 Antworten
Ich versuche, die komplette 100-Modell läuft auf meinem 8-Prozessor 64-bit-Windows-7-Maschine. Ich würde gerne 7-Instanzen des Modells parallel zur Abnahme meines gesamten Laufzeit (ca. 9.5 min pro Modell laufen). Ich habe mehrere threads bezüglich dem Multiprocessing-Modul von Python,
Keine print Ausgabe vom Kind multiprocessing.Verfahren, wenn das Programm abstürzt
1 Antworten
Ich habe ein Problem mit der Python-multiprocessing-Modul. Ich bin mit der Process - Klasse erzeugen Sie einen neuen Prozess, um zu verwenden meine zweite core. Dieser zweite Prozess lädt eine Reihe von Daten in den RAM und
Lesen Sie große Datei parallel?
6 Antworten
Ich habe eine große Datei, die ich brauche, um zu Lesen, und stellen Sie ein Wörterbuch aus. Ich möchte diese so schnell wie möglich. Aber mein code in python ist zu langsam. Hier ist ein minimal-Beispiel, dass
Python sich der Prozess, ohne zu blockieren Elternteil
4 Antworten
Bin ich ein Programm schreiben, das die Uhr ein bestimmtes Verzeichnis für die neuen Dateien mit den download-URLs. Sobald eine neue Datei erkannt wird, wird es erstellt einen neuen Prozess, um die tatsächliche download-während die Eltern weiterhin
Python-multiprocessing-pool, join; nicht warten, um zu gehen?
1 Antworten
(1) ich versuche zu verwenden pool.map gefolgt von pool.join()aber python scheint nicht zu warten, für pool.map zu beenden, bevor Sie vorbei an der pool.join(). Hier ist ein einfaches Beispiel, was ich versucht habe: from multiprocessing import Pool
Nicht Gurke <geben Sie 'instancemethod'> die Verwendung von python-multiprocessing-Pool.apply_async()
1 Antworten
Möchte ich laufen so etwas wie dieses: from multiprocessing import Pool import time import random class Controler(object): def __init__(self): nProcess = 10 pages = 10 self.__result = self.manageWork(nProcess,pages) def BarcodeSearcher(x): return x*x def resultCollector(self,result): self.__result.append(result) def
Python-Multiprocessing-Lib-Fehler (AttributeError: __exit__)
2 Antworten
Bin immer diese Fehlermeldung bei der Verwendung der pool.map(funct, iterable): AttributeError: __exit__ Keine Erklärung, nur die stack-trace, um die pool.py Datei innerhalb des Moduls. mithilfe in dieser Weise: with Pool(processes=2) as pool: pool.map(myFunction, mylist) pool.map(myfunction2, mylist2) Ich
Verwenden SharedPreferences auf multi-Prozess-Modus
7 Antworten
Habe ich definiert, die eine Instanz von SharedPreferences verwendet auf multi-Prozess-Modus. public class Prefs { private static SharedPreferences prefs; private static SharedPreferences.Editor editor; private static void init(Context context) { prefs = context.getSharedPreferences("alaki", Context.MODE_MULTI_PROCESS); editor = prefs.edit(); }
Abgebrochener mutex Ausnahme
2 Antworten
Ich bin versucht, einen mutex zum ersten mal und habe den folgenden code ausführen, der auf zwei separate Instanzen des Programms public void asynchronousCode() { using (var mutex = new Mutex(false, "mySpecialMutex")) { if (!mutex.WaitOne(1000, false)) {
Starten einer separaten Prozess
5 Antworten
Möchte ich ein Skript zum starten eines neuen Prozesses, so dass der neue Prozess läuft weiter, nachdem das erste Skript beendet. Ich erwartete, dass ich verwenden könnte multiprocessing.Process einen neuen Prozess starten, und legen Sie daemon=True so,
Multiprocessing.Pool macht Numpy matrix-Multiplikation langsamer
6 Antworten
So, ich bin Herumspielen mit multiprocessing.Pool und Numpyaber es scheint, ich verpasste einige wichtige Punkt. Warum ist die pool version viel langsamer? Ich schaute auf htop und ich kann sehen, dass mehrere Prozesse erstellt werden, aber Sie
Ist es möglich, Multiprozess-eine Funktion, die etwas zurückgibt, in Python?
6 Antworten
In Python habe ich gesehen, viele Beispiele, wo multiprocessing wird aufgerufen, aber der Gegner druckt nur etwas. Ich habe ein Szenario, in dem das Ziel gibt 2 Variablen, die ich brauche, um Sie später zu verwenden. Zum
Nicht der Zugang-Warteschlange.Leer: "AttributeError: 'function' - Objekt hat kein Attribut 'Leer'"
1 Antworten
Aus irgendeinem Grund kann ich nicht auf die Queue.Empty Ausnahme - was mache ich hier falsch? from multiprocessing import Process, Queue # ... try: action = action_queue.get(False) print "Action: " + action except Queue.Empty: pass Den stack-trace:
, Wie laichen parallel untergeordnete Prozesse, die auf einem multi-Prozessor-system?
4 Antworten
Habe ich ein Python-script, dass ich verwenden möchten, als ein controller zu einem anderen Python-script. Ich habe einen server mit 64 Prozessoren, so wollen, um zu laichen bis zu 64 Kind-Prozesse für das zweite Python-Skript. Das Kind-Skript
Tun multiprocessing-pools geben, die jeder Prozess die gleiche Anzahl von Aufgaben, oder sind Sie als beauftragte zur Verfügung?
3 Antworten
Wenn Sie map eine iterierbar zu einem multiprocessing.Pool sind die Iterationen gliedert sich in eine Warteschlange für jeden Prozess in den pool am start, oder gibt es einen gemeinsamen Warteschlange, aus der eine Aufgabe durchgeführt wird, wenn
Unterschied zwischen multitasking, multithreading und multiprocessing?
25 Antworten
Was ist der Unterschied zwischen multitasking, multiprogramming & multiprocessing Dieser kommt regelmäßig für meine Uni OS Prüfungen und ich kann nicht finden, eine gute Antwort. Ich weiß einiges über multitasking und multiprogramming, aber brauchen, um es zu
MPI für multicore?
7 Antworten
Mit der jüngsten Begeisterung über multicore-Programmierung ist, wer die Möglichkeiten der Verwendung von MPI ? InformationsquelleAutor der Frage Bharani | 2008-09-29
Shared-Memory-Objekte in Multiprocessing
2 Antworten
Angenommen ich habe eine große in-memory-numpy-array, ich habe eine Funktion func nimmt, dass in diesem Riesen-array als Eingabe (zusammen mit einigen anderen Parametern). func mit verschiedenen Parametern parallel ausgeführt werden können. Zum Beispiel: def func(arr, param): #
Multiprocessing in Python - Sharing großes Objekt (z. B. Pandas Datenrahmen) zwischen mehreren Prozessen
1 Antworten
Ich bin mit Python multiprocessing, genauer from multiprocessing import Pool p = Pool(15) args = [(df, config1), (df, config2), ...] #list of args - df is the same object in each tuple res = p.map_async(func, args) #func
multiprocessing.dummy in Python verwendet nicht 100% CPU
1 Antworten
Ich tun, machine-learning-Projekt in Python, so dass ich parallel predict-Funktion, die ich verwende in meinem Programm. from multiprocessing.dummy import Pool from multiprocessing import cpu_count def multi_predict(X, predict, *args, **kwargs): pool = Pool(cpu_count()) results = pool.map(predict, X) pool.close()
Ist * das * wirklich der beste Weg, eine zweite JVM aus Java-Code zu starten?
3 Antworten
Dies ist ein Nachtrag zu meinem eigenen vorherigen Frage und ich bin ein bisschen peinlich zu Fragen... Aber trotzdem: wie würden Sie beginnen eine zweite JVM von einem standalone-Java-Programm in einem system-unabhängigen Weg? Und ohne sich auf
Python: Guter Ort, um etwas über `multiprocessing.Manager` zu erfahren?
2 Antworten
Ich will lernen, zu verwenden multiprocessing.Manager. Ich schaute auf die Dokumentation, aber es ist nicht einfach genug für mich. Kennt jemand ein gutes tutorial oder sowas? InformationsquelleAutor der Frage Ram Rachum | 2009-04-11
Die globalen Python-Multiprocessing-Variablenaktualisierungen wurden nicht an den übergeordneten Knoten zurückgegeben
5 Antworten
Ich versuche die Rückgabe von Werten aus Teilprozessen, aber diese Werte sind leider unpicklable. So habe ich Globale Variablen in threads-Modul, mit Erfolg, aber nicht in der Lage zum abrufen von updates erfolgt in Teilprozesse bei der
Python, WSGI, Multiprocessing und gemeinsame Daten
3 Antworten
Ich bin ein bisschen verwirrt darüber, multiproessing Funktion von mod_wsgi und über die Allgemeine Gestaltung von WSGI-Anwendungen, die ausgeführt werden würden, auf WSGI-Server mit multiprocessing-Fähigkeit. Betrachten Sie die folgende Richtlinie: WSGIDaemonProcess example processes=5 threads=1 Wenn ich das
Hohe Speicherauslastung mit Python Multiprocessing
1 Antworten
Ich habe gesehen, ein paar Beiträge auf die Speichernutzung mithilfe von Python-Multiprocessing-Modul. Aber die Fragen scheinen nicht zu beantworten, das problem habe ich hier. Ich bin Entsendung meine Analyse mit der Hoffnung, dass jemand mir helfen kann.
Python: Multicore-Verarbeitung?
3 Antworten
Ich ve wurde Lesen über Python ' s multiprocessing-Modul. Ich glaube trotzdem nicht, dass ich ein sehr gutes Verständnis von, was es tun kann. Sagen wir, ich habe ein quadcore-Prozessor und ich habe eine Liste mit 1.000.000
Wie verwende ich Multiprocessing mit Klasseninstanzen in Python?
3 Antworten
Ich versuche, eine Klasse zu erstellen, als einen separaten Prozess ausgeführt, um zu gehen, tun einige Arbeit, die lange dauert, starten Sie eine Reihe von diesen aus einem Haupt-Modul und dann warten, bis diese fertig sind. Ich
Python Multiprocessing Pool hängt bei Join?
3 Antworten
Ich versuche zu laufen, einige python-code auf mehrere Dateien parallel. Das Konstrukt ist im Grunde: def process_file(filename, foo, bar, baz=biz): # do stuff that may fail and cause exception if __name__ == '__main__': # setup code setting
Multiprocessing.Pool Beispiel
2 Antworten
Ich versuche zu lernen, wie multiprocessingund fand das folgende Beispiel. Ich möchte die Summe der Werte wie folgt: from multiprocessing import Pool from time import time N = 10 K = 50 w = 0 def CostlyFunction(z):
Multithreading vs Multiprocessing
4 Antworten
Ich bin neu auf dieser Art von Programmierung und brauchen Ihre Sicht. Habe ich eine Anwendung erstellen, aber ich kann es nicht erhalten, um zu berechnen, schnell genug. Ich habe bereits versucht Intel TBB, und es ist
multiprocessing.freeze_support ()
1 Antworten
Warum das multiprocessing-Modul aufrufen, einen bestimmten Funktion arbeiten als "eingefroren" zu produzieren, eine ausführbare windows-Datei? InformationsquelleAutor der Frage Voo | 2012-12-17
Python-Manager-Diktat in Multiprocessing
4 Antworten
Hier ist eine einfache multiprocessing-code: from multiprocessing import Process, Manager manager = Manager() d = manager.dict() def f(): d[1].append(4) print d if __name__ == '__main__': d[1] = p = Process(target=f) p.start() p.join() Ausgabe die ich bekomme,
Wie kann Pool.map eine Lambda-Funktion übernehmen?
4 Antworten
Ich habe die folgende Funktion: def copy_file(source_file, target_dir): pass Nun möchte ich multiprocessing für das ausführen dieser Funktion auf einmal: p = Pool(12) p.map(lambda x: copy_file(x,target_dir), file_list) Das problem ist, die lambda kann nicht gebeizt, damit dies
Wie weiß ich in Python, wann ein Prozess abgeschlossen ist?
5 Antworten
Innerhalb eines Python-GUI (PyGTK) ich einen Prozess starten (mit multiprocessing). Der Prozess dauert eine lange Zeit (~20 Minuten) zu beenden. Wenn der Vorgang abgeschlossen ist, möchte ich, um es zu säubern (Auszug der Ergebnisse und sich der
Wie man ein Python-Diktat mit Multiprocessing synchronisiert
4 Antworten
Ich bin mit Python 2.6 und das multiprocessing-Modul für multi-threading. Jetzt würde ich gerne eine synchronisierte dict (wo die einzige Atomare operation, die ich wirklich brauche, ist der + = - operator auf einen Wert). Sollte ich
Concurrent.futures vs Multiprocessing in Python 3
1 Antworten
Python 3.2 eingeführt Gleichzeitige Futuresdie angezeigt werden einige erweiterte Kombination der älteren threading und multiprocessing Module. Was sind die Vorteile und Nachteile bei der Verwendung dieses für CPU-gebundene Aufgaben gegenüber den älteren multiprocessing-Modul? Dieser Artikel schlägt vor,
noch eine Verwirrung mit Multiprocessing-Fehler, "Modul" -Objekt hat kein Attribut "f"
4 Antworten
Ich weiß, dies wurde beantwortet vor, aber es scheint, dass die Ausführung des Skripts direkt "python filename.py" funktioniert nicht. Ich habe Python 2.6.2 auf SuSE Linux. Code: #!/usr/bin/python # -*- coding: utf-8 -*- from multiprocessing import Pool
Erhalte eine eindeutige ID für den Worker im Python-Multiprozessorpool
3 Antworten
Gibt es eine Möglichkeit, weisen Sie jedem Arbeitnehmer in einem python-multiprocessing-pool, eine eindeutige ID in einer Weise, dass eine Aufgabe ausgeführt wird, die von einem bestimmten Arbeiter in den pool konnte wissen, welche worker ausgeführt wird? Laut
MODE_MULTI_PROCESS für SharedPreferences funktioniert nicht
6 Antworten
Ich habe eine SyncAdapter läuft auf seinen eigenen Prozess, getrennt von der Haupt-app Prozess. Ich bin über eine statische wrapper-Klasse um mein SharedPreferences erzeugt ein statisches Objekt in Prozess laden (Anwendung onCreate) etwa so: myPrefs = context.getSharedPreferences(MY_FILE_NAME,
Wie funktioniert multiprocessing.Manager () in Python?
2 Antworten
Habe ich ein Anliegen über multiprocessing.Manager() in python, hier ist das Beispiel, import multiprocessing def f(ns): ns.x *=10 ns.y *= 10 if __name__ == '__main__': manager = multiprocessing.Manager() ns = manager.Namespace() ns.x = 1 ns.y = 2
Kann nicht & lt; type "instancemethod" & gt; bei Verwendung von Multiprocessing Pool.map ()
11 Antworten
Ich versuche zu verwenden multiprocessing's Pool.map() Funktion zum aufteilen gleichzeitig arbeiten. Wenn ich den folgenden code verwenden, es funktioniert gut: import multiprocessing def f(x): return x*x def go(): pool = multiprocessing.Pool(processes=4) print pool.map(f, range(10)) if __name__== '__main__'
Wie sollte ich bei der Verwendung von Multiprocessing in Python protokollieren?
19 Antworten
Jetzt habe ich ein zentrales Modul in einem Rahmen, der laicht mehrere Prozesse mit Hilfe der Python-2.6 multiprocessing - Modul. Denn es nutzt multiprocessing gibt es Modul-level multiprocessing-aware log LOG = multiprocessing.get_logger(). Pro die docsdiese Protokollierung ist
Catch Ctrl + C / SIGINT und beenden Multiprozesse in Python anmutig
3 Antworten
Wie fange ich ein Strg+C in Multiprozess-python-Programm, und beenden Sie alle Prozesse ordnungsgemäß, ich brauche die Lösung, um beide auf unix und windows. Ich habe versucht, die folgenden: import multiprocessing import time import signal import sys jobs
Python Multiprocessing Process oder Pool für was mache ich?
2 Antworten
Ich bin neu in Python multiprocessing und versuchen herauszufinden, ob ich verwenden soll Pool oder Prozess für den Aufruf von zwei Funktionen async. Die beiden Funktionen habe ich machen curl-Aufrufe und analysieren die Informationen, die in 2