Tag: multiprocessing
Multiprocessing ist die Verwendung von zwei oder mehrere central processing units (CPUs) in einem einzigen computer-system
Multiprocessing und sockets in Python
3 Antworten
Ich versuche, multiprocessing und socket Programmierung zusammen arbeiten, aber ich komme nicht weiter an dieser Stelle. Problem ist, dass ich immer diese Fehlermeldung: File "multiprocesssockserv.py", line 11, in worker clientsocket = socket.fromfd(clientfileno, socket.AF_INET, socket.SOCK_STREAM) error: [Errno 9]
Wie mache ich Prozesse in der Lage zu schreiben in einem array an das Hauptprogramm?
4 Antworten
Ich mache eine Prozess-pool und jeder von Ihnen schreiben müssen, um die verschiedenen Teile einer matrix, die es in das Hauptprogramm. Es gibt keine Angst vor dem überschreiben von Informationen wie jeder Prozess der Arbeit mit verschiedenen
Wesentliche Unterschied zwischen Shared memory und Distributed memory
2 Antworten
Ich bin ein bisschen verwirrt zwischen dem, was der Unterschied zwischen shared memory und distributed memory. Können Sie das klären? Ist shared-Speicher für einen Prozessor und verteilt für viele (für Netzwerk)? Warum brauchen wir verteilten Speicher, wenn
Wie zu erkennen und herauszufinden, ein Programm in einen deadlock?
2 Antworten
Dies ist eine interview-Frage. Wie zu erkennen und herauszufinden, ob ein Programm in einen deadlock? Gibt es einige tools, die verwendet werden können, zu tun, die auf Linux/Unix-Systemen? Meine Idee: Wenn ein Programm macht keine Fortschritte, und
Möglichen Start mehrere threads von Befehlen im cmd?
2 Antworten
Habe ich über 290 Dateien, die ich brauche, zu optimieren, in einem kurzen Zeitraum von Zeit. Wenn ich optipng *.png es dauert etwa 10 Minuten, um die Transaktion abzuschließen. Aber wenn ich optipng a*.png und optipng m*.png
Nicht Gurke Funktion
1 Antworten
So versuche ich, die Geschwindigkeit meiner Berechnung die Zeit, indem Sie ein wenig bit-multiprocessing Ich versuche, den pool zu benutzen Arbeitnehmer. Oben in meinem code habe ich import Singal as s import multiprocessing as mp def wrapper(Channel):
python-multiprocessing-pool-Assertion-Fehler im interpreter
1 Antworten
Schreibe ich ein Beispiel-Programm zum testen der Verwendung von multiprocessing pool von Arbeitskräften in python 2.7.2+ Dies ist der code, den ich geschrieben habe, in der python-ubuntu-interpreter >>> from multiprocessing import Pool >>> def name_append(first_name,last_name): ... return
Mehrere fork () - Parallelität
4 Antworten
Wie verwenden Sie das fork () - Befehl in einer solchen Weise, dass Sie laichen können 10 Prozesse und haben Sie noch eine kleine Aufgabe gleichzeitig. Auger ist das entscheidende Wort, viele Orte, die zeigen, wie die
Mit multiprocessing.Manager.Liste statt einer realen Liste macht die Berechnung Ewigkeiten
2 Antworten
Ich wollte versuchen, die verschiedenen Möglichkeiten der Verwendung der multiprocessing beginnend mit diesem Beispiel: $ cat multi_bad.py import multiprocessing as mp from time import sleep from random import randint def f(l, t): # sleep(30) return sum(x <
python-multiprocessing-Pool mit map_async
3 Antworten
Ich versuchen, das multiprocessing-Paket in python mit einem Pool. Ich habe die Funktion f, die aufgerufen wird, durch die map_async Funktion: from multiprocessing import Pool def f(host, x): print host print x hosts = ['1.1.1.1', '2.2.2.2'] pool
Python multiprocessing, übergeben eine Referenz auf ein Objekt containig eine semaphore
1 Antworten
Habe ich ein Szenario wie dieses: Ich habe ein Objekt der Klasse element enthält eine semaphore. import multiprocessing as mpr class Element(object): def __init__(self): self.sem = mpr.Semaphore() self.xyz = 33 def fun( ch ): a = ch.recv()
Python-Multiprocessing-Prozesse Killen
2 Antworten
Ich Lerne, wie man mit der Python-multiprocessing-Bibliothek. Während jedoch werde ich durch einige Beispiele, landete ich mit vielen python Prozesse laufen in meinem hintergrund. Einer der Beispiel sieht wie folgt aus: from multiprocessing import Process, Lock def
Python, wie zu tun multiprocessing innerhalb einer Klasse?
3 Antworten
Habe ich eine code-Struktur, die wie folgt aussieht: Class A: def __init__(self): processes = for i in range(1000): p = Process(target=self.RunProcess, args=i) processes.append[p] # Start all processes [x.start() for x in processes] def RunProcess(self, i): do
Laufen verschiedene Prozesse parallel - Python
1 Antworten
Ich benutze python 'multiprocessing' - Modul zum ausführen von einzelnen Prozess auf mehrere Kerne, aber ich möchte zu laufen, ein paar unabhängige Verfahren parallel. Für ex - Prozesses analysiert eine umfangreiche Datei -, Prozess-zwei finden Muster in
Übergabe variable Wechsel zwischen threads in Python Funktionen [Anfänger]
2 Antworten
Also ich habe diesen code: import time import threading bar = False def foo(): while True: if bar == True: print "Success!" else: print "Not yet!" time.sleep(1) def example(): while True: time.sleep(5) bar = True t1 =
Bash: Läuft das gleiche Programm auf mehrere Kerne
4 Antworten
Habe ich Zugang zu einer Maschine, wo ich Zugang zu 10 der Haupt -- und ich möchte Sie tatsächlich verwenden. Das, was ich gewohnt bin zu tun, auf meine eigene Maschine wäre so etwas wie dieses: for
Python-multiprocessing-pool.Karte wirft IndexError
2 Antworten
Hab ich entwickelte ein Programm, unter Verwendung von python - /cython, die möglichen CSV-Dateien und erzeugt Statistiken für einen client, aber aufrufen pool.Karte scheint eine Ausnahme auslösen, bevor mein zugeordneten Funktion eine chance hat, zu führen. Sortieren
ändern von globalen Variablen beim multiprocessing python
2 Antworten
Also, was ich versuche zu tun, ist letztendlich eine Zeile Lesen, tun einige Berechnungen mit den Daten in dieser Zeile, dann fügen Sie das Ergebnis für einige Globale Objekt, aber ich kann nie scheinen, um es zu
python pool apply_async und map_async blockieren Sie nicht auf volle Warteschlange
4 Antworten
Bin ich Recht neu bei python. Ich bin mit dem multiprocessing-Modul zum Lesen von Zeilen text auf der Standardeingabe, konvertiert Sie in gewisser Weise, und schreiben Sie in eine Datenbank. Hier ist ein Ausschnitt von meinem code:
Python-Multiprocessing-Liste anfügen
1 Antworten
Habe eine kurze Frage über eine gemeinsam genutzte variable zwischen mehreren Prozessen mit Multiprocessing.Pool(). Werde ich laufen in irgendwelche Probleme, wenn ich die Aktualisierung in einer globalen Liste aus, in mehreren Prozessen? I. e. wenn zwei Prozesse
Mithilfe von Python-multiprocessing.Process-Klasse
1 Antworten
Dies ist eine newbie-Frage: Einer Klasse ist ein Objekt, so kann ich erstellen Sie eine Klasse namens pippo() und innerhalb dieses add-Funktion und die parameter, die ich nicht verstehe, wenn die Funktionen innerhalb der pippo ausgeführt, von
Töten Kind-Prozess, wenn Eltern getötet in Python
2 Antworten
Ich bin Laich-5 verschiedene Prozesse aus einem python-Skript wie dieses: p = multiprocessing.Process(target=some_method,args=(arg,)) p.start() Mein problem ist, wenn irgendwie die Eltern-Prozess (das script) getötet wird, werden die untergeordneten Prozesse läuft weiter. Gibt es einen Weg, um zu
wie Sie auf Prozess beenden mit python-multiprocessing
3 Antworten
Ich habe einige code, der ausgeführt werden muss gegen mehrere andere Systeme, die hängen können, oder Probleme haben, die nicht unter meiner Kontrolle. Ich möchte mit python multiprocessing, um zu laichen Kind-Prozesse laufen unabhängig von der Haupt-Programm
Zuweisen der Rückgabewert der Funktion einer Variablen zu, mit multiprocessing? Und ein problem, im LEERLAUF?
2 Antworten
Ich versuche zu verstehen multiprocessing python. from multiprocessing import Process def multiply(a,b): print(a*b) return a*b if __name__ == '__main__': p = Process(target= multiply, args= (5,4)) p.start() p.join() print("ok.") In diesem codeblock, zum Beispiel, wenn es eine variable
prüfen des status der Prozess mit Unterprozess.Popen in Python
3 Antworten
Wenn ich das aufrufen eines Prozesses mit subprocess.Popen in Python wie folgt: myproc = subprocess.Popen(...).communicate() was ist der richtige Weg, um Ihren status zu sehen? Nicht seine Ausgabe auf stdout oder stderr, aber seine exit-status, sobald es
Python-multiprocessing-eine Funktion mit mehreren Eingängen
5 Antworten
In Python die multiprocessing Modul kann verwendet werden, um eine Funktion auszuführen, über einen Bereich von Werten parallel. Zum Beispiel, dies erzeugt eine Liste der ersten 100000 Auswertungen von f. def f(i): return i * i def
multiprocessing.Prozess.is_alive() gibt True zurück, obwohl der Vorgang beendet ist, warum?
1 Antworten
Benutze ich multiprocess.Process zum erstellen eines child-Prozess und rufen Sie dann os.wait4 bis Kind vorhanden ist. Wenn die tatsächlichen Kind-Prozess beendet, multiprocess.Process.is_alive() noch zurück True. Das ist im Widerspruch. Warum? Code: from multiprocessing import Process import os,
Warteschlange vs JoinableQueue in Python
1 Antworten
In Python während der Verwendung von multiprocessing-Modul es gibt 2 Arten von Warteschlangen: Warteschlange JoinableQueue. Was ist der Unterschied zwischen Ihnen? Warteschlange from multiprocessing import Queue q = Queue() q.put(item) # Put an item on the queue
Die Besetzung einer Warteschlange und Verwaltung von multiprocessing python
1 Antworten
Bin ich mit diesem problem in python: Ich habe eine Warteschlange von URLs, die ich brauche, um zu überprüfen, von Zeit zu Zeit wenn die Warteschlange voll ist, ich brauche, um Verfahren jedes Element in der queue
Maximale Größe für multiprocessing.Queue-Element?
3 Antworten
Arbeite ich an einem ziemlich großen Projekt in Python, das erfordert eine der compute-intensive hintergrund-tasks übergeben werden, um einen anderen Kern, so dass die wichtigsten service wird nicht verlangsamt. Ich bin gekommen, über einige scheinbar seltsame Verhalten
OSError 38 [Errno 38] mit multiprocessing
2 Antworten
Ich bin mit dem folgenden Fehler: $ sudo chmod a+rwxt /dev/shm/ $ ls -ld /dev/shm/ drwxrwxrwt 2 root root 4096 Feb 4 06:56 /dev/shm/ $ python Python 2.6.6 (r266:84292, Dec 26 2010, 22:31:48) [GCC 4.4.5] on linux2
wie zu verfolgen, asynchrone Ergebnisse einer multiprocessing-pool
1 Antworten
Ich versuche, fügen Sie multiprocessing, um einige code, der die Funktionen Funktionen, dass kann ich nicht ändern. Ich möchte behaupten, dass diese Funktionen wie Arbeitsplätze, um eine multiprocessing-pool asynchron. Ich Tue etwas, das viel wie der code
Wie kann ich eine Klasse zwischen Prozessen?
1 Antworten
Ich will ein globales Objekt, das geteilt und aktualisiert alle Prozesse mit einem minimum sperren. import multiprocessing class Counter(object): def __init__(self): self.value = 0 def update(self, value): self.value += value def update(counter_proxy, thread_id): counter_proxy.value.update(1) print counter_proxy.value.value, 't%s'
Gewusst wie: löschen einer multiprocessing queue in python
3 Antworten
Ich möchte nur wissen, wie man deaktivieren einer multiprocessing queue in python wie ein normales python-Warteschlange. Zum Beispiel: from multiprocessing import Queue # multiprocessing queue from Queue import Queue # normal queue multi_q = Queue() normal_q =
Erzeuger/Verbraucher-problem mit python multiprocessing
3 Antworten
Ich Schreibe ein server Programm mit einem Erzeuger und mehrere Verbraucher, was mich verwirrt ist nur die erste Aufgabe, die Produzent in der Warteschlange bekommt konsumiert, nach, welche Aufgaben in Warteschlangen nicht mehr verbraucht, bleiben Sie in
Untergeordnete Prozesse erstellt, die mit python-multiprocessing-Modul nicht drucken
2 Antworten
Ich habe ein problem mit dem code unten, und mit jedem code, der verwendet die print Funktion in der child-Prozesse. Ich kann nicht sehen, alle gedruckten Anweisungen, auch wenn ich sys.std[err|out].write('worker') statt print. Dies ist der code
IPC (inter-Prozess-Kommunikation) zwischen python und java
5 Antworten
Zuerst eine kleine Erklärung warum ich bin, diese Frage an Erster Stelle: Ich Schreibe ein python-Programm (mit einem wxPython gui), muss zum aufrufen einer Java-AWT-Programm von python und extrahieren von Daten aus es. Ich habe eine in-Prozess-working-Lösung
Mit multiprocessing pool von Arbeitskräften
2 Antworten
Ich habe den folgenden code geschrieben, um meine faul zweiten CPU-Kern arbeitet. Was der code tut im Prinzip ist zuerst die gewünschte "Meer" Dateien in der directory-Hierarchie und höher ausführen, setzen von externen Skripts zu verarbeiten, diese
multiprocessing.pool.die Karte und die Funktion mit zwei Argumenten
5 Antworten
Ich bin mit multiprocessing.Pool() hier ist, was ich will-Pool: def insert_and_process(file_to_process,db): db = DAL("path_to_mysql" + db) #Table Definations db.table.insert(**parse_file(file_to_process)) return True if __name__=="__main__": file_list=os.listdir(".") P = Pool(processes=4) P.map(insert_and_process,file_list,db) # here having problem. Möchte ich weitergeben 2 Argumente
Multiprocessing Queue in Python
5 Antworten
Ich versuche, eine queue mit dem multiprocessing-Bibliothek in Python. Nach der Ausführung der code unten (das print-Anweisungen arbeiten), aber die Prozesse nicht beenden, nachdem ich call join in der Warteschlange und es sind immer noch lebendig. Wie
Prozess-Kommunikation in Python
2 Antworten
Was ist der beste Weg, um die Kommunikation zwischen zwei Prozessen in python? Nach einigen googeln, habe ich versucht, dies zu tun: parent_pipe, child_pipe = Pipe() p = Process(target = instance_tuple.instance.run(), \ args = (parent_pipe, child_pipe,)) p.start()
multiprocessing.Pool() langsamer als nur mit normalen Funktionen
3 Antworten
(Diese Frage ist über, wie man multiprocessing.Pool() code ausführen schneller. Ich schließlich löste es sich, und die endgültige Lösung kann gefunden werden an der Unterseite der post.) Ursprünglichen Frage: Ich versuche, Python zu vergleichen, ein Wort mit
Wie nutzen alle Kerne mit python multiprocessing
1 Antworten
wurden das hantieren mit Python multicore Funktion für mehr als eine Stunde versucht nun, zu parallelisieren, eine ziemlich komplexe graph-traversal-Funktion mit Process und Manager: import networkx as nx import csv import time from operator import itemgetter import
Mit python multiprocessing-Pool in der Klemme und in code-Module für Django oder Flask
3 Antworten
Bei der Verwendung von multiprocessing.Pool in python mit dem folgenden code, es gibt einige bizarre Verhalten. from multiprocessing import Pool p = Pool(3) def f(x): return x threads = [p.apply_async(f, [i]) for i in range(20)] for t
Mit 100% aller Kerne mit dem multiprocessing-Modul
5 Antworten
Ich habe zwei Stücke von code, die ich benutze, um zu erfahren, multiprocessing Python 3.1. Mein Ziel ist es, zu 100% aller verfügbaren Prozessoren. Aber der code-Schnipsel hier nur bis zu 30% - 50% auf alle Prozessoren.
Zeigen Sie den Fortschritt eines Python-multiprocessing-pool Karte nennen?
6 Antworten
Ich habe ein Skript, das erfolgreich tun, eine multiprocessing-Pool set von Aufgaben mit einem imap_unordered() nennen: p = multiprocessing.Pool() rs = p.imap_unordered(do_work, xrange(num_tasks)) p.close() # No more work p.join() # Wait for completion Aber, meine num_tasks ist
Was ist die richtige Art und Weise zu behandeln (in python) IOError: [Errno 4] interrupted system call, ausgelöst durch multiprocessing.Warteschlange.erhalten
2 Antworten
Wenn ich Rendern".Warteschlange.ich bekomme manchmal eine Ausnahme aufgrund EINTR. Weiß ich definitiv, dass dies manchmal passiert, für keinen guten Grund (ich öffnen Sie ein weiteres Fenster in eine tmux-buffr), und in einem solchen Fall würde ich wollen,
python multiprocessing apply_async verwendet nur ein Prozess
2 Antworten
Ich habe ein Skript, das schließt das öffnen einer Datei aus einer Liste und die dann etwas tun, um den text innerhalb der Datei. Ich bin mit python multiprocessing und Pool, um zu versuchen zu parallelisieren, diese
Warten Sie, bis alle multiprocessing-jobs zu beenden, bevor Sie fortfahren
2 Antworten
Möchte ich laufen eine Reihe von jobs parallel und dann erst weiter, wenn alle jobs fertig sind. Ich habe etwas # based on example code from https://pymotw.com/2/multiprocessing/basics.html import multiprocessing import random import time def worker(num): """A job
.NET Multi-threading-vs Multi-processing: Schreckliche Parallele.ForEach-Leistung
3 Antworten
Habe ich codiert eine sehr einfache "Word Count" - Programm, das eine Datei liest und zählt jedes Wort das vorkommen in der Datei. Hier ist ein Teil des Codes: class Alaki { private static List<string> input =