Tag: parallel-processing
Parallele Verarbeitung ist, im Gegensatz zu nur eine Gleichzeitige Verarbeitung garantiert über start / ausführen / beenden alle auf thread-Ebene und/oder-instruction-level-Aufgaben ausgeführt, die in einem parallel-Mode und bietet eine garantierte finish der gleichzeitig ausgeführten code-Pfade.
4
Antworten
Ich habe eine große dataframe (mehrere Millionen Zeilen). Ich möchte in der Lage sein zu tun, ein groupby-Betrieb auf, sondern nur die Gruppierung von beliebigen aufeinander folgenden (bevorzugt gleich große) Teilmengen von Zeilen, anstatt mit irgendeiner bestimmten
2
Antworten
#pragma omp parallel { int x; //private to each thread ? } #pragma omp parallel for for (int i = 0; i < 1000; ++i) { int x; //private to each thread ? } Danke! P. S.
10
Antworten
Ich war begeistert zu sehen, das neue System.Collections.Concurrent - namespace in .Net 4.0, auch ganz nett! Ich habe gesehen ConcurrentDictionaryConcurrentQueueConcurrentStackConcurrentBag und BlockingCollection. Einer Sache zu sein scheint, dass auf mysteriöse Weise fehlt ist eine ConcurrentList<T>. Muss ich
4
Antworten
Microsoft .NET 4.0 führt neue "parallel-Erweiterungen", um Ihre Rahmen. Ich Frage mich, was der Unterschied zwischen einer Anwendung, die die standard-System.Threading-Funktionen und dem neuen parallel-Erweiterungen. InformationsquelleAutor der Frage Icemanind | 2010-02-25
3
Antworten
Ich bin interessiert in der Ausführung eines Python-Programms über einen computer-cluster. Ich habe in der Vergangenheit schon mit Python MPI-Schnittstellen, aber aufgrund von Schwierigkeiten beim kompilieren/installieren, diese würde ich bevorzugen Lösungen, die mithilfe der integrierten Module, wie
2
Antworten
Fragte ich eine Frage hier und die Antwort gut funktioniert: mit parallel parLapply: unable to access Variablen in parallelen code Das problem ist, wenn ich versuche, die Antwort innerhalb der Funktion es wird nicht funktionieren, da ich
3
Antworten
Funktioniert der folgende code einfach parallelisieren des ersten (äußeren) Schleifen, oder parallelisieren der gesamten nested loops? #pragma omp parallel for for (int i=0;i<N;i++) { for (int j=0;j<M;j++) { //do task(i,j)// } } Ich möchte nur sicherstellen, wenn
2
Antworten
Momentan habe ich das aktuelle Skript. #!/bin/bash # script.sh for i in {0..99}; do script-to-run.sh input/ output/ $i done Ich wünschte, es laufen parallel mit xargs. Ich habe versucht script.sh | xargs -P8 Aber dabei die oben
4
Antworten
Mit Java 8 und lambdas es ist einfach zu iterieren über Sammlungen von Datenströmen, und ebenso einfach in ein parallel-stream. Zwei Beispiele aus die docsdie zweite mit parallelStream: myShapesCollection.stream() .filter(e -> e.getColor() == Color.RED) .forEach(e -> System.out.println(e.getName()));
1
Antworten
Habe ich eine for-Schleife, die so etwas wie dieses: for (i=1:150000) { tempMatrix = {} tempMatrix = functionThatDoesSomething() #calling a function finalMatrix = cbind(finalMatrix, tempMatrix) } Könnten Sie mir sagen, wie man diese parallele ? Habe ich
5
Antworten
Wie kann ich ausbrechen aus parallel.für Schleife? Ich habe eine ziemlich komplexe Anweisung, die wie folgt aussieht: Parallel.ForEach<ColorIndexHolder>(ColorIndex.AsEnumerable(), new Action<ColorIndexHolder>((ColorIndexHolder Element) => { if (Element.StartIndex <= I && Element.StartIndex + Element.Length >= I) { Found = true;
4
Antworten
Soweit ich das verstanden hatte ForkJoinPooldass pool erstellt eine Feste Anzahl von threads (default: Anzahl der Kerne) und erstellen Sie niemals mehrere threads (es sei denn, die Anwendung zeigt eine Notwendigkeit für diejenigen, die durch die Nutzung
7
Antworten
Beide, Verstehens-und map-Berechnungen sollte-zumindest in der Theorie-relativ einfach zu parallelisieren: jede Berechnung in einer Liste-Verständnis getan werden könnte, unabhängig von der Berechnung aller anderen Elemente. Zum Beispiel in dem Ausdruck [ x*x for x in range(1000) ]
3
Antworten
Ich versuche zu parallelisieren Sie das folgende Programm, aber nicht wissen, wie zu reduzieren auf ein array. Ich weiß, es ist nicht möglich, dies zu tun, aber gibt es eine alternative? Danke. (Ich fügte hinzu, Reduktion auf
3
Antworten
Ist die parallele Programmierung == multithread-Programmierung? InformationsquelleAutor der Frage Eko Kurniawan Khannedy | 2010-02-18
3
Antworten
Grundsätzlich, ich arbeite mit diesem: var data = input.AsParallel(); List<String> output = new List<String>(); Parallel.ForEach<String>(data, line => { String outputLine = ""; //** Do something with "line" and store result in "outputLine" ** //Additionally, there are some
8
Antworten
Ist es, eine theoretische Analyse zur Verfügung, die beschreibt, welche Art von Problemen mapreduce lösen kann? InformationsquelleAutor der Frage amit-agrawal | 2009-04-01
8
Antworten
Sagen, ich habe eine Aufgabe wie: for(Object object: objects) { Result result = compute(objects); list.add(result); } Was ist der einfachste Weg zu parallelisieren jeder compute() (vorausgesetzt, Sie sind bereits parallelisierbare)? Brauche ich nicht eine Antwort, entspricht streng
5
Antworten
Schreibe ich ein C# Programm zum generieren und hochladen eine halbe Millionen Dateien über FTP. Ich will Prozess 4 Dateien parallel, da die Maschine haben 4 Kerne und die Datei generieren braucht viel mehr Zeit. Ist es
7
Antworten
Habe ich ein build-job und ein test-job-Parameter. Will ich nach dem build-job, gleichzeitig ausführen-test-Aufgabe mit einem parameter und dem gleichen test-Auftrag mit anderen Parametern in der parallelen Ausführung. build job | /\ test job test job with
6
Antworten
Ich habe eine foreach - Schleife, die verwendet %dopar% mit doSNOW als back-end. Wie kann ich den loop etwas drucken aus jeder iteration? Mein code ist was ich derzeit benutze, aber es ist nicht etwas ausdrucken. foreach(ntree=rep(25,2),.combine=combine,.packages='randomForest',
10
Antworten
Habe ich ein Makefile auf eine Maschine, die eine Menge Kerne in es, aber ich habe immer scheinen zu vergessen, zu schreiben -jX beim kompilieren meines Projektes und es dauert viel länger, als es sollte. Gibt es
4
Antworten
Zwei neue Schlüsselwörter Hinzugefügt, um die C# 5.0 Sprache sind async und erwartendie beide hand in hand arbeiten, zum ausführen eines C# - Methode asynchron ohne Blockierung des aufrufenden Threads. Meine Frage ist es, ob diese Methoden
3
Antworten
Ich weiß, C# ist immer eine Menge der parallelen Programmierung zu unterstützen, aber AFAIK gibt es noch keine Konstrukte für Nebenwirkungen Prüfung, richtig? Ich vermute, es ist schwieriger jetzt, dass C# ist bereits gelegt. Aber gibt es
7
Antworten
Ich bin versucht derzeit, implementieren Sie eine job-queue in php. Die Warteschlange wird dann verarbeitet werden als ein batch-job und sollte in der Lage sein Prozess einige jobs parallel. Ich schon Tat etwas Forschung und fand mehrere
5
Antworten
Es sei denn, ich habe grob missverstanden MSBuild-tasks ausgeführt werden, in das Dokument, in welcher Reihenfolge Sie erscheinen in einem 'Target' - Knoten. Ich würde gerne in der Lage sein, um anzugeben, dass zwei Aufgaben (wie xcopy-Aufgaben)
3
Antworten
Es ist ein Prozess, der ausgeführt wird, in eine Aufgabe. Ich will nicht mehr als eine solche, die gleichzeitig ausführen. Ist dies die richtige Art und Weise zu überprüfen, um zu sehen, ob eine Aufgabe bereits ausgeführt
15
Antworten
Was ist der Unterschied zwischen der gleichzeitigen Programmierung und parallele Programmierung? Ich fragte google aber habe nichts gefunden, dass mir geholfen zu verstehen, der Unterschied. Könnten Sie mir ein Beispiel für beide? Jetzt fand ich diese Erklärung:
3
Antworten
Habe ich versucht zu verwenden, GNU-parallel-für einige Zeit, aber ich nie in der Lage gewesen, um es zu bekommen, um überhaupt funktionieren! Zum Beispiel, läuft (in ein nicht-leeres Verzeichnis!): ls | parallel echo # Outputs single new
3
Antworten
Habe ich Tausende von png-Dateien, die ich gerne machen kleinere mit pngcrush. Ich habe eine einfache find .. -exec job, aber es ist sequentiell. Meine Maschine hat einiges an Ressourcen und ich würde machen dies parallel. Operation
2
Antworten
Erläutern Sie die Unterschiede zwischen stateless-und stateful-Systeme, sowie die Auswirkungen des Staates auf Parallelität. InformationsquelleAutor der Frage Stack Guru | 2011-03-25
6
Antworten
Heute habe ich versucht, einige der Optimierung foreach Aussage, dass die Werke auf XDocument. Vor der Optimierung: foreach (XElement elem in xDoc.Descendants("APSEvent").ToList()) { //some operations } Nach der Optimierung: Parallel.ForEach(xDoc.Descendants("APSEvent").ToList(), elem => { //same operations }); Sah
3
Antworten
Ich bin mit einem Parallel.ForEach in meinem code. Alle meine 8 Kerne gehen auf 100%. Das ist schlecht für die anderen apps, die auf dem server ausgeführt werden. Ist es möglich, zu begrenzen, Ausführung wie 4 Kerne?
2
Antworten
Gibt es einen Unterschied zwischen den untenstehenden code-Schnipsel. Wenn ja, was? myList.AsParallel().ForAll(i => { /*DO SOMETHING*/}); und Parallel.ForEach(mylist, i => { /*DO SOMETHING*/}); Wird der main-thread warten, bis alle Kind-threads abschließen? In einer MVC-Anwendung, wenn ich dabei
4
Antworten
Eines der wichtigsten Beispiele, die verwendet wird, um die Leistung von MapReduce ist die Terasort-benchmark. Ich habe Probleme beim Verständnis der Grundlagen des Sortier-Algorithmus verwendet, in der MapReduce-Umgebung. Mir die Sortierung der es lediglich um die Bestimmung
5
Antworten
Ist es ein Werkzeug zur Verfügung, führen mehrere Verfahren parallel in einer Windows-batch-Datei? Ich habe einige interessante tools für Linux (parallel und PPSS), jedoch bräuchte ich ein tool für Windows-Plattformen. Bonus: Es wäre toll, wenn das tool
4
Antworten
Ich habe Schwierigkeiten zu verstehen, das Konzept der Blockierung von Kommunikation und nicht-blockierende Kommunikation in MPI. Was sind die Unterschiede zwischen den beiden? Was sind die Vorteile und-und Nachteile? Dank! InformationsquelleAutor der Frage lamba | 2012-04-04
7
Antworten
Bin ich mit dem R in der Version 3.0.1 vor, die auf der Plattform: x86_64-apple-darwin10.8.0 (64-bit) Ich versuche, mit tm_map aus dem tm-Bibliothek. Aber wenn ich führen Sie die in diesem code library(tm) data('crude') tm_map(crude, stemDocument) Bekomme
3
Antworten
Aufruf einer Funktion, die foreach - %dopar% - Konstrukt von optim zu einem Fehler führt: > workers <- startWorkers(6) # 6 cores > > registerDoSMP(workers) > > t0 <- Sys.time() > > optim(w,maxProb2,control=list(fnscale=-1)) > > Error in
10
Antworten
Ich Frage mich, ob es eine Parallel.Für entspricht .net-version für Java? Wenn es könnte, jemand bitte liefern Sie ein Beispiel? danke! Kommentar zu dem Problem - Öffnen Vielleicht könnten Sie einen link zur Referenz für Parallel.für? Ich
3
Antworten
Ich bin mir bewusst von mehreren Fragen, und Antworten zu diesem Thema, aber habe nicht gefunden eine zufriedenstellende Antwort auf dieses problem: Was ist der einfachste Weg, um eine einfache shared-memory-Parallelisierung eines python-Schleife, wo numpy-arrays sind manipuliert
4
Antworten
Suche nach ein wenig Beratung auf die Nutzung AsParallel() oder Parallel.ForEach() zur Beschleunigung. Sehen, die Methode, die ich habe (vereinfacht/bastardized für dieses Beispiel) unten. Dauert es eine Liste wie "US, FR, APAC", wo "APAC" ist ein alias
8
Antworten
Ist es möglich, zum angeben einer benutzerdefinierten thread-pool für Java 8 parallel stream? Ich kann es nirgends finden. Vorstellen, dass ich eine server-Anwendung, und ich möchte die parallele streams. Aber die Anwendung ist groß und multi-threaded, so
4
Antworten
Einer JVM läuft in einem einzigen Prozess und threads in einer JVM teilen sich den heap gehören zu diesem Prozess. Wie funktioniert dann die JVM nutzen mehrere Kerne, die mehrere OS-threads für die hohe Parallelität? Kommentar zu
7
Antworten
Ich habe ein shell-script, welches mischt eine große text-Datei (6 Millionen Zeilen und 6 Spalten) sortiert die Datei anhand der ersten Spalte Ausgänge 1000 Dateien Also der pseudocode sieht wie folgt aus file1.sh #!/bin/bash for i in
8
Antworten
Macht es Sinn, Sie zu verwenden, für die jeder normale foreach-eine parallele.foreach-Schleife ? Wann soll ich anfangen mit parallelen.foreach, nur Durchlaufen 1,000,000 Elemente? Kommentar zu dem Problem Was bedeutet das array enthalten? Die Vorgehensweise hängt davon ab,
3
Antworten
Könnten Sie mir bitte sagen, der Unterschied zwischen Apache Spark und AKKA, ich weiß, dass beide frameworks gemeint, die für Programmierung, verteilte und parallele Berechnungen, aber ich sehe nicht den link oder die Differenz zwischen Ihnen. Darüber
12
Antworten
Habe ich eine Liste/queue 200 Befehle, die ich ausführen muss in einer shell auf einem Linux-server. Ich will nur maximal 10 Prozesse laufen (aus der Warteschlange) auf einmal. Bei einigen Prozessen wird ein paar Sekunden dauern, um