Tag: parallel-processing

Parallele Verarbeitung ist, im Gegensatz zu nur eine Gleichzeitige Verarbeitung garantiert über start / ausführen / beenden alle auf thread-Ebene und/oder-instruction-level-Aufgaben ausgeführt, die in einem parallel-Mode und bietet eine garantierte finish der gleichzeitig ausgeführten code-Pfade.

Wie man über aufeinanderfolgende Teile des Pandas Datenrahmens effizient iteriert

Anzahl der Antworten 4 Antworten
Ich habe eine große dataframe (mehrere Millionen Zeilen). Ich möchte in der Lage sein zu tun, ein groupby-Betrieb auf, sondern nur die Gruppierung von beliebigen aufeinander folgenden (bevorzugt gleich große) Teilmengen von Zeilen, anstatt mit irgendeiner bestimmten

OpenMP: Sind lokale Variablen automatisch privat?

Anzahl der Antworten 2 Antworten
#pragma omp parallel { int x; //private to each thread ? } #pragma omp parallel for for (int i = 0; i < 1000; ++i) { int x; //private to each thread ? } Danke! P. S.

Keine gleichzeitige Liste & lt; T & gt; in .Net 4.0?

Anzahl der Antworten 10 Antworten
Ich war begeistert zu sehen, das neue System.Collections.Concurrent - namespace in .Net 4.0, auch ganz nett! Ich habe gesehen ConcurrentDictionaryConcurrentQueueConcurrentStackConcurrentBag und BlockingCollection. Einer Sache zu sein scheint, dass auf mysteriöse Weise fehlt ist eine ConcurrentList<T>. Muss ich

Threading vs. Parallelverarbeitung

Anzahl der Antworten 4 Antworten
Microsoft .NET 4.0 führt neue "parallel-Erweiterungen", um Ihre Rahmen. Ich Frage mich, was der Unterschied zwischen einer Anwendung, die die standard-System.Threading-Funktionen und dem neuen parallel-Erweiterungen. InformationsquelleAutor der Frage Icemanind | 2010-02-25

Verwenden des Multiprocessing-Moduls für Cluster-Computing

Anzahl der Antworten 3 Antworten
Ich bin interessiert in der Ausführung eines Python-Programms über einen computer-cluster. Ich habe in der Vergangenheit schon mit Python MPI-Schnittstellen, aber aufgrund von Schwierigkeiten beim kompilieren/installieren, diese würde ich bevorzugen Lösungen, die mithilfe der integrierten Module, wie

Verwenden von parLapply und clusterExport in einer Funktion

Anzahl der Antworten 2 Antworten
Fragte ich eine Frage hier und die Antwort gut funktioniert: mit parallel parLapply: unable to access Variablen in parallelen code Das problem ist, wenn ich versuche, die Antwort innerhalb der Funktion es wird nicht funktionieren, da ich

Wie behandelt OpenMP verschachtelte Schleifen?

Anzahl der Antworten 3 Antworten
Funktioniert der folgende code einfach parallelisieren des ersten (äußeren) Schleifen, oder parallelisieren der gesamten nested loops? #pragma omp parallel for for (int i=0;i<N;i++) { for (int j=0;j<M;j++) { //do task(i,j)// } } Ich möchte nur sicherstellen, wenn

Programme parallel mit Xargs ausführen

Anzahl der Antworten 2 Antworten
Momentan habe ich das aktuelle Skript. #!/bin/bash # script.sh for i in {0..99}; do script-to-run.sh input/ output/ $i done Ich wünschte, es laufen parallel mit xargs. Ich habe versucht script.sh | xargs -P8 Aber dabei die oben

Soll ich immer einen parallelen Stream verwenden, wenn möglich?

Anzahl der Antworten 4 Antworten
Mit Java 8 und lambdas es ist einfach zu iterieren über Sammlungen von Datenströmen, und ebenso einfach in ein parallel-stream. Zwei Beispiele aus die docsdie zweite mit parallelStream: myShapesCollection.stream() .filter(e -> e.getColor() == Color.RED) .forEach(e -> System.out.println(e.getName()));

führe in R eine for-Schleife parallel aus

Anzahl der Antworten 1 Antworten
Habe ich eine for-Schleife, die so etwas wie dieses: for (i=1:150000) { tempMatrix = {} tempMatrix = functionThatDoesSomething() #calling a function finalMatrix = cbind(finalMatrix, tempMatrix) } Könnten Sie mir sagen, wie man diese parallele ? Habe ich

Break parallel.foreach?

Anzahl der Antworten 5 Antworten
Wie kann ich ausbrechen aus parallel.für Schleife? Ich habe eine ziemlich komplexe Anweisung, die wie folgt aussieht: Parallel.ForEach<ColorIndexHolder>(ColorIndex.AsEnumerable(), new Action<ColorIndexHolder>((ColorIndexHolder Element) => { if (Element.StartIndex <= I && Element.StartIndex + Element.Length >= I) { Found = true;

Was bestimmt die Anzahl der Threads, die ein Java ForkJoinPool erstellt?

Anzahl der Antworten 4 Antworten
Soweit ich das verstanden hatte ForkJoinPooldass pool erstellt eine Feste Anzahl von threads (default: Anzahl der Kerne) und erstellen Sie niemals mehrere threads (es sei denn, die Anwendung zeigt eine Notwendigkeit für diejenigen, die durch die Nutzung

Wie parallelisieren Sie Listenverständnis-Berechnungen in Python?

Anzahl der Antworten 7 Antworten
Beide, Verstehens-und map-Berechnungen sollte-zumindest in der Theorie-relativ einfach zu parallelisieren: jede Berechnung in einer Liste-Verständnis getan werden könnte, unabhängig von der Berechnung aller anderen Elemente. Zum Beispiel in dem Ausdruck [ x*x for x in range(1000) ]

Reduzieren des Arrays in OpenMP

Anzahl der Antworten 3 Antworten
Ich versuche zu parallelisieren Sie das folgende Programm, aber nicht wissen, wie zu reduzieren auf ein array. Ich weiß, es ist nicht möglich, dies zu tun, aber gibt es eine alternative? Danke. (Ich fügte hinzu, Reduktion auf

Ist Parallelprogrammierung == Multithread-Programmierung?

Anzahl der Antworten 3 Antworten
Ist die parallele Programmierung == multithread-Programmierung? InformationsquelleAutor der Frage Eko Kurniawan Khannedy | 2010-02-18

Ist diese Verwendung von Parallel.ForEach () Thread sicher?

Anzahl der Antworten 3 Antworten
Grundsätzlich, ich arbeite mit diesem: var data = input.AsParallel(); List<String> output = new List<String>(); Parallel.ForEach<String>(data, line => { String outputLine = ""; //** Do something with "line" and store result in "outputLine" ** //Additionally, there are some

Welche Art von Problemen kann mapreduce lösen?

Anzahl der Antworten 8 Antworten
Ist es, eine theoretische Analyse zur Verfügung, die beschreibt, welche Art von Problemen mapreduce lösen kann? InformationsquelleAutor der Frage amit-agrawal | 2009-04-01

Was ist der einfachste Weg, um eine Aufgabe in Java zu parallelisieren?

Anzahl der Antworten 8 Antworten
Sagen, ich habe eine Aufgabe wie: for(Object object: objects) { Result result = compute(objects); list.add(result); } Was ist der einfachste Weg zu parallelisieren jeder compute() (vorausgesetzt, Sie sind bereits parallelisierbare)? Brauche ich nicht eine Antwort, entspricht streng

Begrenzen Sie die Anzahl der parallelen Threads in C #

Anzahl der Antworten 5 Antworten
Schreibe ich ein C# Programm zum generieren und hochladen eine halbe Millionen Dateien über FTP. Ich will Prozess 4 Dateien parallel, da die Maschine haben 4 Kerne und die Datei generieren braucht viel mehr Zeit. Ist es

Wie starten Sie identische Jobs mit unterschiedlichen Parametern in paralleler Ausführung?

Anzahl der Antworten 7 Antworten
Habe ich ein build-job und ein test-job-Parameter. Will ich nach dem build-job, gleichzeitig ausführen-test-Aufgabe mit einem parameter und dem gleichen test-Auftrag mit anderen Parametern in der parallelen Ausführung. build job | /\ test job test job with

Wie kann ich drucken, wenn% dopar% verwendet wird?

Anzahl der Antworten 6 Antworten
Ich habe eine foreach - Schleife, die verwendet %dopar% mit doSNOW als back-end. Wie kann ich den loop etwas drucken aus jeder iteration? Mein code ist was ich derzeit benutze, aber es ist nicht etwas ausdrucken. foreach(ntree=rep(25,2),.combine=combine,.packages='randomForest',

Jobs automatisch setzen (-j) für einen Multicore-Rechner?

Anzahl der Antworten 10 Antworten
Habe ich ein Makefile auf eine Maschine, die eine Menge Kerne in es, aber ich habe immer scheinen zu vergessen, zu schreiben -jX beim kompilieren meines Projektes und es dauert viel länger, als es sollte. Gibt es

Verwenden die neuen C # 5.0- "Async" - und "Warte" -Schlüsselwörter mehrere Kerne?

Anzahl der Antworten 4 Antworten
Zwei neue Schlüsselwörter Hinzugefügt, um die C# 5.0 Sprache sind async und erwartendie beide hand in hand arbeiten, zum ausführen eines C# - Methode asynchron ohne Blockierung des aufrufenden Threads. Meine Frage ist es, ob diese Methoden

Enthält (oder wird) C # Funktionen zur Überprüfung von Nebenwirkungen?

Anzahl der Antworten 3 Antworten
Ich weiß, C# ist immer eine Menge der parallelen Programmierung zu unterstützen, aber AFAIK gibt es noch keine Konstrukte für Nebenwirkungen Prüfung, richtig? Ich vermute, es ist schwieriger jetzt, dass C# ist bereits gelegt. Aber gibt es

Parallelverarbeitung in PHP - Wie machst du das?

Anzahl der Antworten 7 Antworten
Ich bin versucht derzeit, implementieren Sie eine job-queue in php. Die Warteschlange wird dann verarbeitet werden als ein batch-job und sollte in der Lage sein Prozess einige jobs parallel. Ich schon Tat etwas Forschung und fand mehrere

So führen Sie Aufgaben in MSBuild parallel aus

Anzahl der Antworten 5 Antworten
Es sei denn, ich habe grob missverstanden MSBuild-tasks ausgeführt werden, in das Dokument, in welcher Reihenfolge Sie erscheinen in einem 'Target' - Knoten. Ich würde gerne in der Lage sein, um anzugeben, dass zwei Aufgaben (wie xcopy-Aufgaben)

Überprüfen Sie, ob die Aufgabe bereits ausgeführt wird, bevor Sie mit der neuen beginnen

Anzahl der Antworten 3 Antworten
Es ist ein Prozess, der ausgeführt wird, in eine Aufgabe. Ich will nicht mehr als eine solche, die gleichzeitig ausführen. Ist dies die richtige Art und Weise zu überprüfen, um zu sehen, ob eine Aufgabe bereits ausgeführt

Was ist der Unterschied zwischen gleichzeitiger Programmierung und paralleler Programmierung?

Anzahl der Antworten 15 Antworten
Was ist der Unterschied zwischen der gleichzeitigen Programmierung und parallele Programmierung? Ich fragte google aber habe nichts gefunden, dass mir geholfen zu verstehen, der Unterschied. Könnten Sie mir ein Beispiel für beide? Jetzt fand ich diese Erklärung:

GNU parallel funktioniert überhaupt nicht

Anzahl der Antworten 3 Antworten
Habe ich versucht zu verwenden, GNU-parallel-für einige Zeit, aber ich nie in der Lage gewesen, um es zu bekommen, um überhaupt funktionieren! Zum Beispiel, läuft (in ein nicht-leeres Verzeichnis!): ls | parallel echo # Outputs single new

Parallelverarbeitung in bash?

Anzahl der Antworten 3 Antworten
Habe ich Tausende von png-Dateien, die ich gerne machen kleinere mit pngcrush. Ich habe eine einfache find .. -exec job, aber es ist sequentiell. Meine Maschine hat einiges an Ressourcen und ich würde machen dies parallel. Operation

Was sind die Unterschiede zwischen staatenlosen und Stateful-Systemen, und wie beeinflussen sie Parallelität?

Anzahl der Antworten 2 Antworten
Erläutern Sie die Unterschiede zwischen stateless-und stateful-Systeme, sowie die Auswirkungen des Staates auf Parallelität. InformationsquelleAutor der Frage Stack Guru | 2011-03-25

Warum ist nicht Parallel.ForEach mehrere Threads ausgeführt?

Anzahl der Antworten 6 Antworten
Heute habe ich versucht, einige der Optimierung foreach Aussage, dass die Werke auf XDocument. Vor der Optimierung: foreach (XElement elem in xDoc.Descendants("APSEvent").ToList()) { //some operations } Nach der Optimierung: Parallel.ForEach(xDoc.Descendants("APSEvent").ToList(), elem => { //same operations }); Sah

Ist es möglich, die Kerne für Parallel.ForEach zu begrenzen?

Anzahl der Antworten 3 Antworten
Ich bin mit einem Parallel.ForEach in meinem code. Alle meine 8 Kerne gehen auf 100%. Das ist schlecht für die anderen apps, die auf dem server ausgeführt werden. Ist es möglich, zu begrenzen, Ausführung wie 4 Kerne?

AsParallel.ForAll vs Parallel.ForEach

Anzahl der Antworten 2 Antworten
Gibt es einen Unterschied zwischen den untenstehenden code-Schnipsel. Wenn ja, was? myList.AsParallel().ForAll(i => { /*DO SOMETHING*/}); und Parallel.ForEach(mylist, i => { /*DO SOMETHING*/}); Wird der main-thread warten, bis alle Kind-threads abschließen? In einer MVC-Anwendung, wenn ich dabei

Wie funktioniert der MapReduce-Sortieralgorithmus?

Anzahl der Antworten 4 Antworten
Eines der wichtigsten Beispiele, die verwendet wird, um die Leistung von MapReduce ist die Terasort-benchmark. Ich habe Probleme beim Verständnis der Grundlagen des Sortier-Algorithmus verwendet, in der MapReduce-Umgebung. Mir die Sortierung der es lediglich um die Bestimmung

Parallele Ausführung von Shell-Prozessen

Anzahl der Antworten 5 Antworten
Ist es ein Werkzeug zur Verfügung, führen mehrere Verfahren parallel in einer Windows-batch-Datei? Ich habe einige interessante tools für Linux (parallel und PPSS), jedoch bräuchte ich ein tool für Windows-Plattformen. Bonus: Es wäre toll, wenn das tool

mpi: Blockieren vs. Nicht-Blockieren

Anzahl der Antworten 4 Antworten
Ich habe Schwierigkeiten zu verstehen, das Konzept der Blockierung von Kommunikation und nicht-blockierende Kommunikation in MPI. Was sind die Unterschiede zwischen den beiden? Was sind die Vorteile und-und Nachteile? Dank! InformationsquelleAutor der Frage lamba | 2012-04-04

tm_map hat den Fehler parallle :: mclapply in R 3.0.1 auf dem Mac

Anzahl der Antworten 7 Antworten
Bin ich mit dem R in der Version 3.0.1 vor, die auf der Plattform: x86_64-apple-darwin10.8.0 (64-bit) Ich versuche, mit tm_map aus dem tm-Bibliothek. Aber wenn ich führen Sie die in diesem code library(tm) data('crude') tm_map(crude, stemDocument) Bekomme

R - Problem mit Foreach% Dopar% Inside-Funktion von Optim aufgerufen

Anzahl der Antworten 3 Antworten
Aufruf einer Funktion, die foreach - %dopar% - Konstrukt von optim zu einem Fehler führt: > workers <- startWorkers(6) # 6 cores > > registerDoSMP(workers) > > t0 <- Sys.time() > > optim(w,maxProb2,control=list(fnscale=-1)) > > Error in

"Parallel.For" für Java?

Anzahl der Antworten 10 Antworten
Ich Frage mich, ob es eine Parallel.Für entspricht .net-version für Java? Wenn es könnte, jemand bitte liefern Sie ein Beispiel? danke! Kommentar zu dem Problem - Öffnen Vielleicht könnten Sie einen link zur Referenz für Parallel.für? Ich

Parallelisieren von Python-Schleifen mit numpigen Arrays und Shared-Memory

Anzahl der Antworten 3 Antworten
Ich bin mir bewusst von mehreren Fragen, und Antworten zu diesem Thema, aber habe nicht gefunden eine zufriedenstellende Antwort auf dieses problem: Was ist der einfachste Weg, um eine einfache shared-memory-Parallelisierung eines python-Schleife, wo numpy-arrays sind manipuliert

Verwenden von AsParallel () / Parellel.ForEach () Richtlinien?

Anzahl der Antworten 4 Antworten
Suche nach ein wenig Beratung auf die Nutzung AsParallel() oder Parallel.ForEach() zur Beschleunigung. Sehen, die Methode, die ich habe (vereinfacht/bastardized für dieses Beispiel) unten. Dauert es eine Liste wie "US, FR, APAC", wo "APAC" ist ein alias

Angepasster Thread-Pool in parallelem Java 8-Stream

Anzahl der Antworten 8 Antworten
Ist es möglich, zum angeben einer benutzerdefinierten thread-pool für Java 8 parallel stream? Ich kann es nirgends finden. Vorstellen, dass ich eine server-Anwendung, und ich möchte die parallele streams. Aber die Anwendung ist groß und multi-threaded, so

Wie nutzt Java mehrere Kerne?

Anzahl der Antworten 4 Antworten
Einer JVM läuft in einem einzigen Prozess und threads in einer JVM teilen sich den heap gehören zu diesem Prozess. Wie funktioniert dann die JVM nutzen mehrere Kerne, die mehrere OS-threads für die hohe Parallelität? Kommentar zu

Shell-Skript parallel ausführen

Anzahl der Antworten 7 Antworten
Ich habe ein shell-script, welches mischt eine große text-Datei (6 Millionen Zeilen und 6 Spalten) sortiert die Datei anhand der ersten Spalte Ausgänge 1000 Dateien Also der pseudocode sieht wie folgt aus file1.sh #!/bin/bash for i in

Sollte ich immer Parallel.Foreach verwenden, weil mehr Threads alles beschleunigen müssen?

Anzahl der Antworten 8 Antworten
Macht es Sinn, Sie zu verwenden, für die jeder normale foreach-eine parallele.foreach-Schleife ? Wann soll ich anfangen mit parallelen.foreach, nur Durchlaufen 1,000,000 Elemente? Kommentar zu dem Problem Was bedeutet das array enthalten? Die Vorgehensweise hängt davon ab,

Apache Spark gegen Akka

Anzahl der Antworten 3 Antworten
Könnten Sie mir bitte sagen, der Unterschied zwischen Apache Spark und AKKA, ich weiß, dass beide frameworks gemeint, die für Programmierung, verteilte und parallele Berechnungen, aber ich sehe nicht den link oder die Differenz zwischen Ihnen. Darüber

Parallele Verarbeitung von einer Befehlswarteschlange unter Linux (bash, python, ruby ​​... was auch immer)

Anzahl der Antworten 12 Antworten
Habe ich eine Liste/queue 200 Befehle, die ich ausführen muss in einer shell auf einem Linux-server. Ich will nur maximal 10 Prozesse laufen (aus der Warteschlange) auf einmal. Bei einigen Prozessen wird ein paar Sekunden dauern, um