Tag: parallel-processing
Parallele Verarbeitung ist, im Gegensatz zu nur eine Gleichzeitige Verarbeitung garantiert über start / ausführen / beenden alle auf thread-Ebene und/oder-instruction-level-Aufgaben ausgeführt, die in einem parallel-Mode und bietet eine garantierte finish der gleichzeitig ausgeführten code-Pfade.
Ist MPI_Reduce blockiert (oder eine Natürliche Barriere)?
3 Antworten
Habe ich das code-snippet unten in C++ die im Grunde berechnet die pi mit Hilfe der klassischen monte-carlo-Technik. srand48((unsigned)time(0) + my_rank); for(int i = 0 ; i < part_points; i++) { double x = drand48(); double y
GCC Atomic Gelieferten statt pthread?
5 Antworten
Habe ich folgenden Artikel gefunden: Verwenden Sie GCC-vorausgesetzt, Atomare Vorgänge sperren zu ersetzen Funktionen pthread_mutex_lock Er bezieht sich auf GCC Atomic Gelieferten. Was die Artikel vorschlagen, ist, GCC zu verwenden atomic gelieferten statt pthread-Synchronisierung-tools. Ist das eine
Gleichzeitige JUnit-Tests mit Parametern
4 Antworten
Also versuche ich parallel parametrisierte tests. Ich habe eine Lösung, wo die gleichen Tests können parallel ausgeführt werden mit den Parametern versorgt Sie zum Beispiel sagen, ich habe das folgende: @Test public void someTest1(){ } @Test public
Iteration über eine Liste, in parallele mit Cython
2 Antworten
Wie macht man iteriert parallel über ein (Python -) Liste in Cython? Betrachten Sie die folgende einfache Funktion: def sumList(): cdef int n = 1000 cdef int sum = 0 ls = [i for i in range(n)]
der Unterschied zwischen doMC und doParallel in R
1 Antworten
Was ist der Unterschied zwischen doParallel und doMC in R über foreach Funktion? doParallel unterstützt windows -, unix-like, während doMC unterstützt unix-like nur. In anderen Worten, warum doParallel nicht ersetzen doMC direkt? Danke. Update: doParallel ist gebaut
OpenMP-Parallelisierung der Matrixmultiplikation durch eine dreifache for-Schleife (performance-Problem)
2 Antworten
Ich Schreibe ein Programm für die matrix-Multiplikation mit OpenMP, dass, für den cache die Bequemlichkeit, implementiert die Multiplikation A x B(transponiert) Zeilen X Zeilen anstelle der klassischen A-x B Zeilen x Spalten, für eine bessere cache-Effizienz. Dies
Golang: wie überprüfen Sie die Anzahl der Prozessoren, auf denen ein Go-Programm ausgeführt wird
2 Antworten
Ich bin neu in Google Go (Golang). Meine Frage ist im Zusammenhang mit diesem post Was genau hat Laufzeit.Gosched tun?. Die Struktur des Codes ist als unten kopiert. Meine Frage ist, dass, wenn ich ändern Sie die
Parallel anzeigen in haskell
2 Antworten
Gibt es einige Ersatz map die Auswertung der Liste in parallel? Ich brauche es nicht, faul zu sein. Etwas wie: pmap :: (a -> b) -> [a] -> [b] lassen Sie mich pmap expensive_function big_list und habe
Warum ist Parallel.ForEach viel schneller dann AsParallel().ForAll (), obwohl MSDN anderes vermuten?
4 Antworten
Ich mache ein paar Untersuchungen um zu sehen, wie wir können, erstellen Sie eine Multithread-Anwendung, die durch einen Baum. Zu finden, wie diese umgesetzt werden können, in der beste Weg, ich habe eine test-Anwendung, die läuft durch
Wie zu Warten, für Abgebrochene Aufgabe zu Beenden?
2 Antworten
Ich natürlich nicht weiß, was ich Tue, wenn es um die parallele Programmierung mit .NET 4.0. Ich habe eine einfache Windows-Anwendung, die eine Aufgabe startet, um einige der sinnlosen Arbeit (die Ausgabe von zahlen 1-1000). Ich habe
Makefile laufen Prozesse im hintergrund
3 Antworten
Habe ich in meinem Makefile: run: for x in *.bin ; do ./$$x ; done so, dass es startet alle ausführbaren Dateien eins nach dem anderen. Ich möchte, um dies zu tun: run: for x in *.bin
Parallel XML Parsing in Java
3 Antworten
Ich Schreibe eine Anwendung, welche die Prozesse, die eine Menge von xml-Dateien (>1000) mit tiefen Knoten-Strukturen. Es dauert etwa sechs Sekunden mit woodstox (Event, API) zum Parsen einer Datei mit 22.000 Nodes. Der Algorithmus wird in einem
Verschachtelte Parallele.ForEach-Schleifen auf der gleichen Liste?
3 Antworten
Brauche ich, um zu parallelisieren, eine Methode, die eine umfassende paarweisen Vergleich auf Elemente in einer Liste. Die seriellen Implementierung ist straight-forward: foreach (var element1 in list) foreach (var element2 in list) foo(element1, element2); In diesem Fall
CPU SIMD-vs. GPU-SIMD?
2 Antworten
GPU verwendet, die SIMD Paradigma, das heißt, den gleichen Teil des Codes parallel ausgeführt werden, und angewendet, um verschiedene Elemente eines Datensatzes. Jedoch, CPU auch nutzt SIMD, und bieten instruction-level parallelism. Zum Beispiel, soweit ich weiß, SSE-Anweisungen
wie installiere parallel-forkmanager in perl
3 Antworten
Ich bin anstrengend zu laufen mehrere jobs parallel, die durch die Verwendung von perl-Skript, welches die parallele:ForkManager. #!/usr/bin/perl -w use Parallel::ForkManager; my @make_obj = qw( mode1_testlist mode1_testlist1 mode1_testlist2 ); my $fm = $pm = Parallel::ForkManager-> new(3); foreach
ContinueWhenAll nicht warten, bis alle Aufgaben abgeschlossen
1 Antworten
Ich gefunden habe ein Stück code auf dem web und haben Sie ein bisschen verändert, um zu sehen, wie es funktioniert, aber jetzt habe ich ein problem mit ContinueWhenAll da es nicht warten Sie, bis alle Aufgaben
Wie erstelle ich eine parallele Schleife?
3 Antworten
Würden Sie denken, dies wäre die einfache Frage, aber ich kann nicht finden, die Lösung. Nehmen Sie die folgende Schleife: A = zeros(1,10000000); parfor i = 1:length(A) A(i) = i; end Diese läuft nur auf einem single-core
Ausführen von JUnit-Tests parallel auf Suite-Ebene?
2 Antworten
Ich habe eine Reihe von tests, die organisiert sind in JUnit-test-Suiten. Diese tests sind sehr Nutzung von selenium zum testen einer web-Anwendung. So, naturaly für Selen, die Laufzeit dieser tests ist ziemlich lang. Da die test-Klassen in
Multithread-Bildverarbeitung in C++
16 Antworten
Arbeite ich an einem Programm, das manipuliert Bilder in verschiedenen Größen. Viele dieser Manipulationen Lesen pixel-Daten aus einem input und schreiben auf einem separaten Ausgang (z.B. Weichzeichner). Dies erfolgt auf einer pro-pixel-basis. Solchen Bild mapulations sehr stressig
Parallelisieren while-Schleife mit OpenMP
3 Antworten
Ich habe eine sehr große Datei und jeder Datensatz in diese Datei hat 4 Zeilen. Ich habe geschrieben, einer sehr einfachen C-Programm zum analysieren von Dateien von diesem Typ, und drucken Sie einige nützliche Informationen. Die grundlegende
Unterschied zwischen feature selection, feature extraction, GEWICHTE
3 Antworten
Bin ich etwas verwirrt, als das, was "feature selection /extractor /GEWICHTE" bedeuten, und der Unterschied zwischen Ihnen. Als ich die Literatur zu Lesen manchmal fühle ich mich verloren wie finde ich den Begriff Recht Locker, mein Hauptanliegen
Warum ist die parallele-Paket langsamer als nur mit bewerben?
3 Antworten
Ich versuche zu bestimmen, verwenden Sie die parallel Paket zu beschleunigen, die notwendige Zeit, führen einige Analyse. Eines der Dinge, die ich tun müssen, ist erstellen von Matrizen Vergleich von Variablen in zwei Daten-frames mit unterschiedlicher Anzahl
Python compute cluster
7 Antworten
Wäre es möglich, ein python-cluster, schreiben einen telnet-server, ein telnet-ing Befehle und Ausgabe hin-und-her? Hat jemand eine bessere Idee für ein python compute cluster? PS. Vorzugsweise für python 3.x, wenn jemand weiß, wie. Für die interaktive Verwendung
Ausführung von Funktionen in parallel
5 Antworten
Ich habe eine Funktion, die Bedürfnisse gehen über rund 20K Zeilen aus einem array, und wenden Sie ein externes Skript zu jedem. Dies ist ein langsamer Prozess, wie PHP zu warten, das Skript ausgeführt werden soll, bevor
Python multiprocessing im Kolben
3 Antworten
Diese Frage hat sich wohl gefragt worden, und mehr als wahrscheinlich beantwortet, aber ich weiß nicht, wo es hier finden. Problem: ich habe einen router für python-flask, das dauert eine Weile, um Prozess Daten für jeden Aufruf.
Unterschied zwischen num_threads vs. omp_set_num_threads vs OMP_NUM_THREADS
2 Antworten
Ich bin ziemlich verwirrt über die Möglichkeiten zum angeben der Anzahl von threads im parallelen Teil eines Codes. Ich weiß, dass ich kann verwenden: die enviromental variable OMP_NUM_THREADS Funktion omp_set_num_threads(int) num_threads(int) in #pragma omp parallel for num_threads(NB_OF_THREADS)
K-nearest neighbour C/C++ Implementierung
3 Antworten
Wo finde ich eine serielle C/C++ Implementierung des k-nearest neighbour Algorithmus? Kennen Sie eine Bibliothek, die hat diese? Ich habe festgestellt, openCV, aber die Umsetzung ist bereits parallel. Beginnen möchte ich über eine serielle Umsetzung und parallelisieren
Daten.Tisch-und parallel-computing
3 Antworten
Folgenden diesem Beitrag: multicore und Daten.Tabelle in R, ich Frage mich, ob es war ein Weg, um alle Kerne bei der Verwendung von Daten.Tabelle, in der Regel die Berechnungen, die von Gruppen könnte parallelisiert werden. Es scheint,
Wie nutzen die Parallelverarbeitung in Matlab
3 Antworten
Arbeite ich an einer Zeitreihen-Berechnung. Jede iteration die Berechnung ist unabhängig. Könnte jemand einige Tipps /online-Primer zur Verwendung, die Nutzung der Parallelverarbeitung in Matlab? Wie können diese angegeben werden, innerhalb der eigentlichen code? InformationsquelleAutor Eduardas | 2010-10-30
Parallele Binäre Suche
6 Antworten
Ich bin gerade erst anfangen zu lernen, parallele Programmierung, und ich bin auf der Suche bei der binären Suche. Dies kann nicht wirklich optimiert werden, indem werfen mehr Prozessoren auf it-Recht? Ich weiß, es ist angeblich teilen
Parallele Codierung Vs Multithreading (auf single-cpu)
6 Antworten
können verwenden wir Synonym "Parallel-coding" und "Multithreading-Codierung" auf single cpu? bin ich nicht viel Erfahrung in beiden, aber ich will meine shift-coding-style auf eine der oben genannten. Als ich gefunden nun wird ein Tag viele einzelne thred
python dask DataFrame, Unterstützung für (trivial parallelisierbare) Zeile anwenden?
2 Antworten
Vor kurzem fand ich dask Modul zielt darauf ab, dass ein einfach zu bedienendes python-parallel-processing-Modul. Großer Pluspunkt für mich ist, dass es funktioniert mit pandas. Nach der Lektüre ein wenig auf seiner manual-Seite, ich kann nicht einen
"finden" und "ls" mit GNU parallel
4 Antworten
Ich versuche zu verwenden GNU parallel zu viel post von Dateien auf einen web-server. In meinem Verzeichnis habe ich noch einige Dateien: file1.xml file2.xml und ich habe ein shell-Skript, das wie folgt aussieht: #! /usr/bin/env bash CMD="curl
Wie, um das setup matlabpool für mehrere Prozessoren?
2 Antworten
Ich nur setup eine Extra Große, Schwere Berechnung EC2-instance zu werfen es in meine Genetische Algorithmen problem, in der Hoffnung die Dinge etwas beschleunigen. Diese Instanz hat 8 Intel-Xeon-Prozessoren (etwa 2,4 Ghz) und 7 GB RAM. Auf
Parallelisieren geschachtelte for-Schleife mit openMP
2 Antworten
Ich versuche zur Optimierung der verschachtelten for-Schleife in der Funktion generate_histogram() unten mit openMP. Ich habe versucht, viel mit verschiedenen Kombinationen von pragmas, basierend auf was ich gelesen habe, in diese SE post. Das problem ist, dass
Schreiben pseudocode für die parallele Programmierung
6 Antworten
Wie schreiben Sie pseudo-code für die parallele Programmierung? Vor allem, wie unterscheiden Sie die lokale und gemeinsam genutzte Variablen? Wie Sie repräsentieren Operationen, wie scatter, gather, reduce, broadcast und point-to-point-Kommunikation? Gibt es einige Normen um? Diese Fragen
Parallel HTTP-Anfragen in ruby
3 Antworten
Ich habe ein array von URLs, und ich wan ' T zu öffnen ein und Holen einen bestimmten tag. Aber ich möchte dazu parallel. Hier ist der pseudocode für das, was ich machen möchte: urls = [...]
Ist List<T> thread-sicher zum Lesen?
4 Antworten
Ist der folgende pseudocode thread-safe ? IList<T> dataList = SomeNhibernateRepository.GetData(); Parallel.For(..i..) { foreach(var item in dataList) { DoSomething(item); } } Die Liste wird nie verändert, es ist nur Durchlaufen und parallel Lesen. Kein schreiben auf Felder oder
Vektor-Einsatz in MPI(C++)
5 Antworten
Ich bin neu in die MPI-Programmierung,trotzdem zu lernen , war ich erfolgreich, bis zum erstellen von Abgeleiteten Datentypen, die von der Definition der Strukturen . Jetzt möchte ich zählen Vektor in meine Struktur und zum senden von
Aufgabe Beispiel in C#
3 Antworten
Ich fange mit den Aufgaben in C#. Ich versuche, diesen code ausführen. private static void CreateSubtask() { Task<Int32> parent = Task.Run(() => { var results = new Int32[3]; new Task(() => results[0] = 0, TaskCreationOptions.AttachedToParent).Start(); new Task(()
Wie kann ich gespeicherte Prozeduren von sql server parallel?
4 Antworten
Ich möchte etwas machen wie: exec sproc1 and sproc2 at the same time when they are both finished exec sproc3 Kann ich dies in dts. Gibt es einen Weg, es zu tun in transact sql? Oder gibt
JUnit und Surefire Parallele Tests - ForkCount & ThreadCount
2 Antworten
Ich bin mit Selenium-tests auf dem Selenium Grid mit dem Surefire-Plugin zum ausführen von tests. In Bezug auf meine test-Panne habe ich mehrere Klassen, von denen einige 1-test in sich und es gibt mehr als einen test.
Einfache Möglichkeit zur Verwendung von parallel-Optionen von scikit-learn-Funktionen auf HPC
1 Antworten
In vielen Funktionen von scikit-learn implementiert benutzerfreundliche Parallelisierung. Zum Beispiel in sklearn.cross_validation.cross_val_score Sie übergeben Sie einfach die gewünschte Anzahl der computational jobs in n_jobs argument. Und für den PC mit multi-core-Prozessor, es wird funktionieren, sehr nett. Aber
Wie verwende ich die parallele Programmierung/Multithreading in meinem bash-Skript?
2 Antworten
Dies ist mein Skript: #!/bin/bash #script to loop through directories to merge fastq files sourcedir=/path/to/source destdir=/path/to/dest for f in $sourcedir/* do fbase=$(basename "$f") echo "Inside $fbase" zcat $f/*R1*.fastq.gz | gzip > $destdir/"$fbase"_R1.fastq.gz zcat $f/*R2*.fastq.gz | gzip >
Ausführung von Funktionen parallel in PHP
7 Antworten
Kann PHP eine Funktion aufzurufen, und nicht warten, für Sie, um zurückzukehren? So etwas wie dieses: function callback($pause, $arg) { sleep($pause); echo $arg, "\n"; } header('Content-Type: text/plain'); fast_call_user_func_array('callback', array(3, 'three')); fast_call_user_func_array('callback', array(2, 'two')); fast_call_user_func_array('callback', array(1, 'one')); ausgeben
Gibt es eine vektorisierte parallel max() und min()?
4 Antworten
Ich habe eine data.frame mit den Spalten "a" und "b". Ich möchte hinzufügen, Spalten namens "high" und "low", die die höchste und die niedrigste unter den Spalten a und b. Gibt es eine Möglichkeit, dies zu tun,
Python: so Etwas wie `map`, dass die arbeiten an threads
5 Antworten
Ich war sicher, es war etwas wie in der standard-Bibliothek, aber es scheint, dass ich falsch war. Ich habe ein paar urls, die ich will urlopen parallel. Ich möchte etwas wie die builtin map Funktion, außer die
Sortiert word count Verwendung von Hadoop MapReduce
4 Antworten
Ich bin sehr viel neues zu MapReduce und ich absolvierte eine Hadoop-word-count-Beispiel. In diesem Beispiel erzeugt unsortierte Datei (mit Schlüssel-Wert-Paare) von Wort zählt. So ist es möglich, Sortieren Sie nach der Anzahl der word-Ereignisse durch die Kombination
Parallelität in Python
5 Antworten
Was sind die Optionen für die Erreichung der Parallelität in Python? Ich möchte eine Reihe von CPU-gebundene Berechnungen über einige sehr große raster, und möchte parallelise Sie. Kommen aus einem C-hintergrund, ich bin vertraut mit drei Ansätzen
Ausführen mehrerer tensorflow-Sitzungen gleichzeitig
3 Antworten
Ich versuche zu laufen mehrere Sitzungen der TensorFlow gleichzeitig auf einem CentOS-7-Computer mit 64 CPUs. Mein Kollege berichtet, dass er die folgenden beiden code-Blöcke zu produzieren, die eine parallele speedup auf seiner Maschine mit 4 Kernen: mnist.py