Tag: parallel-processing
Parallele Verarbeitung ist, im Gegensatz zu nur eine Gleichzeitige Verarbeitung garantiert über start / ausführen / beenden alle auf thread-Ebene und/oder-instruction-level-Aufgaben ausgeführt, die in einem parallel-Mode und bietet eine garantierte finish der gleichzeitig ausgeführten code-Pfade.
Verständnis von Parallelität in Spark und Scala
2 Antworten
Ich habe einige Verwirrung über die Parallelität in der Funke und Scala. Ich führe ein experiment, in dem ich gelesen haben, viele (csv) - Dateien von der Festplatte zu ändern/Prozess bestimmte Spalten und dann schreiben Sie es
Parallel.Invoke() ohne zu warten auf die Ausführung zu beenden
3 Antworten
Bitte wissen, dass ich bin mir bewusst, dass Parallel.Invoke() ist gedacht für die Synchronisierung von Aufgaben. Meine Frage ist: Gibt es eine Möglichkeit zu nennen, eine anonyme Methode, mit so etwas wie Parallel.Berufen, in denen der Aufruf
Oracle 11g - so optimieren Sie langsam parallel einfügen auswählen?
3 Antworten
wollen wir beschleunigen den Lauf der parallele insert-Anweisung unten. Wir erwarten zu legen rund 80 MILLIONEN Datensätze und ist es, die rund 2 Stunden fertig zu stellen. INSERT /*+ PARALLEL(STAGING_EX,16) APPEND NOLOGGING */ INTO STAGING_EX (ID, TRAN_DT,
Einen Task starten, ohne zu warten
3 Antworten
Ich bin mit asp.net mvc und ich möchte die cache-Daten über einige der Benutzer aus der Datenbank, wenn er an die home-Seite der Website. Also, wenn der Benutzer die Anforderungen der Home Seite möchte ich nennen, eine
MPI-Lesen aus einer Textdatei
1 Antworten
Hallo Jungs, ich bin Programmieren lernen in MPI und ich kam auf diese Frage. Sagen wir ich habe ein .txt-Datei mit 100.000 Zeilen/Linien, wie kann ich chunk diese für die Verarbeitung von 4-Prozessoren? also ich möchte zulassen,
Chunk-Partitionierung IEnumerable Parallel.Foreach
2 Antworten
Kennt jemand einen Weg, um die Parallele.Foreach-Schleife zu verwenden chunk-Partitionierung im Vergleich, was ich glaube, ist range-Partitionierung standardmäßig. Es scheint einfach, wenn Sie mit arrays arbeiten, da können Sie einfach erstellen Sie eine benutzerdefinierte Partitionierer und setzen
Parallele und Multicore-Verarbeitung in R
1 Antworten
Dies ist in Richtung der extreme, in R Funktionen, die ich denke, aber hier geht... Ich bin dabei einige schwere Verarbeitung in R, in denen ich geschrieben habe, eine Funktion, die nicht alle das Bein Arbeit von
Aufgaben vs-ThreadPool -
5 Antworten
Ich habe eine Anwendung in C# eine Liste mit arbeiten zu tun. Ich bin auf der Suche um zu tun, so viel Arbeit wie möglich parallel. Aber ich muss in der Lage sein zu kontrollieren, die maximale
Tensorflow und Multiprocessing: die Übergabe von Sessions
2 Antworten
Ich habe vor kurzem an einem Projekt arbeiten, mit einem neuronalen Netzwerk für die virtuellen Roboter zu Steuern. Ich verwendet tensorflow zu Programmieren und es läuft reibungslos. Bisher verwendete ich die sequentiellen Simulationen zu evaluieren, wie gut
Kann jemand erklären, die folgenden os.fork () - Beispiel für mich?
2 Antworten
[Code entnommen Programming Python 4th Edition von Mark Lutz] "forks child processes until you type 'q'" import os def child(): print('Hello from child', os.getpid()) os._exit(0) # else goes back to parent loop def parent(): while True: newpid
100 threads parallel und führen fehlende threads, wenn einige Vorherige fertig sind
5 Antworten
Zum Beispiel muss ich immer 100 threads einige Aktionen. Ich habe Klasse, die aufgerufen ThreadsWorker die sucht nach threads zu zählen und läuft fehlende threads, wenn einige Vorherige fertig sind. So, dies ist die Tabelle, die beschreibt
SLURM `srun` vs `sbatch` und deren Parameter
2 Antworten
Ich versuche zu verstehen, was der Unterschied ist zwischen SLURM ' s srun und sbatch Befehle. Ich werde glücklich sein, mit einer Allgemeinen Erklärung, anstatt konkrete Antworten auf die folgenden Fragen, aber hier sind einige spezifische Punkte
Spring batch - Ausführung von mehreren Arbeitsplätzen parallel
2 Antworten
Ich bin neu in Spring batch und konnte nicht herausfinden, wie dies zu tun.. Grundsätzlich habe ich eine Feder Datei poller, die läuft alle N Minuten zum suchen nach Dateien mit Namen (ex: A.txt & B.txt) in
Python, ausführen von Befehlszeilen-tools in parallel
2 Antworten
Ich bin mit Python als Skript-Sprache, um einige der Datenverarbeitung und call-Befehl-Linie Werkzeuge für die Zahl Knirschen. Ich Wünsche ausführen von command-line-tools parallel, da Sie unabhängig mit jeder anderen. Wenn ein command-line tool fertig ist, kann ich
Sortieren von Z. B. concurrentdictionary von Wert
5 Antworten
Ich bin in der Lage zu Sortieren, meine Z. B. concurrentdictionary vom Wert etwa so: static ConcurrentDictionary<string, Proxy> Proxies = new ConcurrentDictionary<string, Proxy>(); Proxies.OrderBy(p => p.Value.Speed); Das ist toll, außer ich einstellen will, dass die neue re-geordnete
Wer führt die callback-bei Verwendung apply_async Methode einer multiprocessing-pool?
1 Antworten
Ich versuche zu verstehen, ein wenig von dem, was passiert hinter den kulissen bei der Verwendung der apply_sync Methode einer multiprocessing-pool. Wer führt die callback-Methode? Es ist der wichtigste Prozess, genannt apply_async? Sagen wir mal ich schicke
LabView: Pass-Wert zwischen while-Schleifen
3 Antworten
Ich habe ein vi mit zwei unendliche while-Schleifen. Die linke Schleife kontinuierlich liest Daten von einem Gerät und plots ist es, die rechts-Schleife ruft eine benutzerdefinierte DLL und verwendet den Ausgang zu fahren, ein anderes Gerät. Der
Hat (oder wird) C# - Funktionen umfassen, die für Nebenwirkungen Verifizierung?
3 Antworten
Ich weiß, C# ist immer eine Menge der parallelen Programmierung zu unterstützen, aber AFAIK gibt es noch keine Konstrukte für Nebenwirkungen Prüfung, richtig? Ich vermute, es ist schwieriger jetzt, dass C# ist bereits gelegt. Aber gibt es
Die Umsetzung Max Reduziert in Cuda
1 Antworten
Habe ich gelernt Cuda und ich bin noch immer der Auseinandersetzung mit der Parallelität. Das problem ich habe, im moment ist die Umsetzung eines max reduzieren auf ein array von Werten. Dies ist mein kernel __global__ void
Sollte ich immer mit einem parallelen stream, wenn möglich?
5 Antworten
Mit Java 8 und lambdas es ist einfach zu iterieren über Sammlungen von Datenströmen, und ebenso einfach in ein parallel-stream. Zwei Beispiele aus die docs, die zweite mit parallelStream: myShapesCollection.stream() .filter(e -> e.getColor() == Color.RED) .forEach(e ->
multiprocessing.dummy in Python ist nicht die Nutzung 100% cpu
1 Antworten
Ich bin dabei eine Maschine-learning-Projekt in Python, so dass ich zu tun haben, parallel predict-Funktion, die ich verwende in meinem Programm. from multiprocessing.dummy import Pool from multiprocessing import cpu_count def multi_predict(X, predict, *args, **kwargs): pool = Pool(cpu_count())
Spring AMQP RabbitMQ wie man zwei parallele Verbraucher nicht greifen gleiche Aufgabe in der gleichen Zeit?
3 Antworten
Habe ich zwei Systeme integriert sind, mit RabbitMQ. Hintergrund Client-senden Sie multiple-request-Nachrichten von Spring-AMQP outbound-Gateway zu RabbitMQExchange, die rabbitmq-DirectExchange verwenden round-robin - Versand dieser Nachrichten an Mehrere Arbeitnehmer(die Arbeiter sind unabhängige, die sich auf verschiedenen desktops die
Unterschied zwischen "tauschen" und die "context-switching"
4 Antworten
In Betriebssystemen, was ist der Unterschied zwischen "tauschen" und die "context-switching"? Der einzige Unterschied, den ich gefunden in meinem lehrbuch ist, dass, im Tausch gibt es ein medium-term-scheduler. Etwas Licht auf it. Es ist wohl unterschiedlich, je
Was ist der beste Weg, um nmap tausenden von Subnetzen parallel von einem Skript?
2 Antworten
Inventar Hafen Teil eines Klasse-A-Netzwerk, scan ich, wie ein paar tausend Class-C-Netzwerke mit nmap. Ich benutze parallel ausführen von 32-Subnetz-scan-Aufträge auf einmal. Einer minimierten version des Skripts: cat $Subnetze | while read Subnetz tun echo nmap -Pn
OpenMPI: Einfache 2-Knoten-Setup
3 Antworten
Ich habe Probleme beim ausführen eines OpenMPI-Programm mit nur zwei Knoten (der Knoten ist die gleiche Maschine, die ausführt, die mpiexec Befehl und der andere Knoten ist eine separate Maschine). Ich rufe die Maschine ausgeführt wird mpiexec,
Die parallele Ausführung von Funktionen in javascript
1 Antworten
Hörte ich, dass der javascript ist single-threaded bin ich im Recht? Dann, wie kann ich das implementieren Ausführung von Funktionen(mehrere) parallele(gleichzeitige). Ich habe folgenden script, und ich möchte Ihnen sagen, dass jede xml-Datei hat eine Größe von
Wie um zu verhindern, dass sperren/Verzögerungen bei der Abfrage die gleichen Tabellen aus verschiedenen Prozesse?
1 Antworten
Ich habe ein Problem, dass die Menschen nicht mehr arbeiten können mit einer intranet-Anwendung, die das Abfragen dieser Tabellen, die ich Abfragen von SQL Server Management Studio. Sie müssen warten, bis die Abfrage fertig, was können die
Run/ausführen mehrere Verfahren Parallel - Oracle PL/SQL
3 Antworten
Habe ich eine Tätigkeit, die Tabelle ist immer die Tabelle Ereignisse des Systems. Ereignisse wie neue Aufträge, einfügen/löschen auf alle Systemtabellen werden in diese Tabelle eingefügt. So, die keine der Veranstaltungen/sec ist wirklich riesig für die Aktivität-Tabelle.
parallele Programmierung in C
3 Antworten
Ich bin versucht zu parallelisieren, ein ray tracer, der in C, aber die Ausführungszeit nicht löschen, da die Anzahl der threads zu erhöhen. Den code habe ich bisher: main2(thread function): float **result=malloc(width * sizeof(float*)); int count=0; for
Wie, um die Anzahl der Dateien in einem tar.gz Datei (ohne entpacken)?
3 Antworten
Habe ich eine tar.gz die Datei die ich gemacht habe, von pigz (parallel gzip). Ich wollte die Anzahl der Dateien innerhalb der komprimierten Datei, ohne zu entpacken. Ich benutze dieses Befehl: tar -tzf file.tar.gz aber ich bekam
(C/C++ - Threads): Erstellen von worker-threads, die werden hören, jobs und Ausführung Sie gleichzeitig, als wollte
3 Antworten
Angenommen, wir haben zwei Arbeitnehmer. Jeder Arbeiter hat eine id 0 und 1. Auch nehmen wir an, wir haben Arbeit, ständig, jeder job hat auch eine Kennung 0 oder 1 welche gibt, die Arbeitnehmer haben diesen job
Python scikit lernen n_jobs
1 Antworten
Dies ist nicht ein echtes Problem, aber ich würde gerne verstehen: läuft sklearn von Anaconda distrib auf einem Win7 die 4 Kerne 8 GB system Einbau eines KMeans-Modell auf einem 200.000 Proben*200 Werte-Tabelle. läuft mit n-jobs =
Die parallele Ausführung von shell-Prozessen
5 Antworten
Ist es ein Werkzeug zur Verfügung, führen mehrere Verfahren parallel in einer Windows-batch-Datei? Ich habe einige interessante tools für Linux (parallel und PPSS), jedoch bräuchte ich ein tool für Windows-Plattformen. Bonus: Es wäre toll, wenn das tool
Was ist der Unterschied zwischen Gleichzeitigkeit und Parallelität?
30 Antworten
Was ist der Unterschied zwischen Gleichzeitigkeit und Parallelität? Beispiele sind geschätzt. kurze Antwort: die Parallelität von zwei Linien der Kunden bestellen aus einer einzigen Kasse (Linien abwechselnd Bestellung); Parallelität von zwei Linien des Kunden die Bestellung von
Mit dem multiprocessing-Modul für cluster-computing
4 Antworten
Ich bin interessiert in der Ausführung eines Python-Programms über einen computer-cluster. Ich habe in der Vergangenheit schon mit Python MPI-Schnittstellen, aber aufgrund von Schwierigkeiten beim kompilieren/installieren, diese würde ich bevorzugen Lösungen, die mithilfe der integrierten Module, wie
Parallele streams, Sammler-und thread-Sicherheit
3 Antworten
Sehen das einfache Beispiel unten, zählt die Anzahl der vorkommen jedes Wortes in einer Liste: Stream<String> words = Stream.of("a", "b", "a", "c"); Map<String, Integer> wordsCount = words.collect(toMap(s -> s, s -> 1, (i, j) -> i +
start-job-Befehl Ausführen in parallel-und Ausgabe von Ergebnis, wie Sie ankommen
3 Antworten
Ich versuche, bestimmte KBXXXXXX Existenz auf eine Liste von Servern , aber wenn mein script ein server braucht es Zeit und Ergebnis zurückgeben und kommen zurück und dann weiter zur nächsten . dieses Skript funktioniert für mich
Was ist der beste Weg, um zu verzögern, eine Konsole-Anwendung für ein paar Sekunden
2 Antworten
Übersicht. Ich habe einen Windows Service in C# geschrieben .NET 4.0, das einbinden in die Betfair API, um Wetten zu legen automatisch (alle Wetten Entscheidungen sind gemacht in der SQL-DB). Der service hat die Anzahl der Zeitgeber,
Wo bekomme ich die .h-Datei für OpenMP?
3 Antworten
Ich bin auf der Suche nach der omp.h - Datei für die Verwendung in eclipse. Ich konnte nicht finden es in openmp.org. Wo finde ich omp.h? Dank. Das Betriebssystem und die compiler verwenden Sie? Auf Windows ist
Wie behandeln die Parallele Ausführung C# Verbindung zur Datenbank herstellen
2 Antworten
Ich habe folgenden code, der ausgelöst wird, Abfrage für jede Datenbank in der SQL SERVER 2008R2, public DataTable GetResultsOfAllDB(string query) { SqlConnection con = new SqlConnection(_ConnectionString); string locleQuery = "select name from [master].sys.sysdatabases"; DataTable dtResult = new
Geben Sie Standard-MaxDegreeOfParallelism Parallel.ForEach?
2 Antworten
Würden wir gerne Optional Steuern Sie die Anzahl der "threads" auf unsere parallele Schleifen zu vermeiden überwältigend ein web service (zum Beispiel). Ist es möglich, geben Sie eine benutzerdefinierte MaxDegreeOfParallelism auf eine Parallel.ForEach Schleife, aber auch, um
Broken pipe-Fehler mit multiprocessing.Warteschlange
3 Antworten
In python2.7, multiprocessing.Warteschlange wirft eine kaputte Fehlermeldung, wenn die Initialisierung innerhalb einer Funktion. Ich bin die Bereitstellung einer minimal-Beispiel, das das problem reproduziert. #!/usr/bin/python # -*- coding: utf-8 -*- import multiprocessing def main(): q = multiprocessing.Queue() for
Lesen und schreiben von mehreren Dateien parallel
3 Antworten
Ich muss ein Programm schreiben in Java, die gelesen wird, eine relativ große Anzahl (~50.000) erhalten können, Dateien in einer Verzeichnisstruktur, die Daten zu verarbeiten und die Ausgabe der verarbeiteten Daten in einem separaten (flach -) Verzeichnis.
python-Multiprozess-update-Wörterbuch synchron
3 Antworten
Ich versuche zu aktualisieren, ein gemeinsames Wörterbuch durch mehrere Prozesse. Könnten Sie bitte mir helfen herauszufinden, was das problem mit diesem code? Ich bekomme die folgende Ausgabe: inside function {1: 1, 2: -1} comes here inside function
Suche nach max-Wert in CUDA
3 Antworten
Bin ich zu schreiben versucht, einen code in CUDA für die Suche nach dem max-Wert für den gegebenen Satz von zahlen. Nehme an, Sie haben die 20 zahlen, und der kernel läuft auf 2 Blöcke zu 5
Aufgabe.Warten Sie, eine Ausnahme zu werfen
1 Antworten
Weitgehend als follow-up zu dieser Frage test driven asynch Aufgaben ich habe einige code, der funktioniert, wenn ich nicht die Aufgabe haben, die warten, aber nicht wenn ich das Tue. Kann mir jemand erklären, warum? Ausnahme: Ich
Wie ausgeführt, verschiedene Methoden parallel
5 Antworten
Ich habe eine java-Methode enthält 5 verschiedene interne Methoden. Um die Leistung zu verbessern, möchte ich nennen diese Methoden parallel. z.B. laufen, method1, method2, ... method5 parallel mit thread. private void getInformation() throws SQLException, ClassNotFoundException, NamingException {
Java 8 | Parallel-Stream für eine HashMap
2 Antworten
In java 8 ich weiß, dass Sie die parallel-stream, die die Vorteile von multicore-Prozessoren, und ich weiß, dass Sie es verwenden können, mit etwas wie dieses: List<String> list = new ArrayList<String>(); list.parallelStream().forEach(str -> System.out.println(str)); Aber wie kann
Wie printf eine time_t-variable als Gleitkommazahl?
2 Antworten
Ich bin mit einem time_t-variable in C (openMP Umgebung), um die cpu-Ausführungszeit...ich definiere einen float-Wert sum_tot_time, um die Summe der Zeit für alle cpu ' s...ich meine sum_tot_time ist die Summe der cpu time_t-Werte. Das problem ist,
In Solr, Wie die Abfrage für ein Feld für verschiedene Werte in einem mehrwertigen Feld
3 Antworten
Ich wollen im Grunde Solr Suche, jeden Datensatz der das mehrwertige Feld für meine such-parameter.. Lesen Sie weiter für mein Beispiel: Bin ich mit dem Solr index zu meine Daten. Ich habe die Anwendung Daten in parallelen