wie zu tun multiprocessing in java, und was Geschwindigkeitssteigerungen zu erwarten?

Ich bin ein Neuling mit Java zu tun, einige Verarbeitung der Daten auf csv-Dateien. Für die Verwendung des multithreading-Fähigkeiten von Java (Becken des threads), um batch-import der csv-Dateien in Java und führen Sie einige Operationen auf jede Ihrer Linien. Auf meinem quad-core, Multi-Threading beschleunigt den Prozess viel.

Ich bin neugierig zu wissen, wie/ob das Rendern beschleunigen würde, die Operationen noch? Wenn ja, gibt es da ein tutorial irgendwo? (die Java Basic Tutorial erwähnt, eine Klasse, aber ich bin nicht vertraut genug mit der syntax zu verstehen, die Klasse von mir:

vom http://download.oracle.com/javase/tutorial/essential/concurrency/procthread.html:

Meisten Implementierungen der Java virtual machine laufen als eine einzige
Prozess. Eine Java-Anwendung erstellen können zusätzliche Prozesse mit ein
ProcessBuilder-Objekts. Multiprozess-Anwendungen sind über den Umfang
in dieser Lektion [wo sind Sie, erklärte dann?].

  • Sind Sie auf der CPU-bound oder I/O-gebunden? Festplatten sind deutlich langsamer als die Prozessoren. Plus, threads sind in der Regel leichter zu wechseln, zwischen und zum Austausch von Daten zwischen als Prozesse. Wenn Ihr Programm ständig warten, für die Festplatte, es ist nicht die Materie eine ganze Menge so oder so.
  • Ich habe eine Warteschlange von Dutzenden von csv-Dateien zu importieren in meine java-Anwendung. Ich benutze einen pool von threads (sieben threads, genau) zu importieren, die Sie schneller als einer nach dem anderen - im moment kann ich importieren 7 csv-Dateien "auf einmal" - eine pro thread. Könnte ich beschleunigen dies noch mehr mit multiprocessing? Eine wie ist multiprocessing nützlich für die Parallelität auf einem einzelnen computer im Allgemeinen?
  • Normalerweise finde ich, dass Sie sich verbessern können die Leistung der single-thread viel mehr als der nur 4x (am besten Sie hoffen kann, für 4 Kerne, wenn die CPU gebunden ist) würde ich sicherstellen, dass Sie gründlich profiliert und optimiert den code Ihre erste.
  • Ich wäre neugierig zu wissen, diese tricks, aber ich werde öffnen Sie eine neue Diskussion dafür 😉
InformationsquelleAutor seinecle | 2011-11-03
  1. 4

    Ich bin neugierig zu wissen, wie/ob das Rendern beschleunigen würde, die Operationen sogar noch mehr?

    Nein, in der Tat würde es wahrscheinlich noch schlimmer machen. Wenn Sie wechseln von multithreading multiprocessing, dann würde man effektiv starten der JVM mehrere Male. Das starten der JVM ist keine einfache Aufwand. In der Tat, die Art, wie die JVM auf Ihrem desktop-Rechner startet, ist Verschieden von der Weise, wie ein Unternehmen Unternehmen beginnt Ihre JVM, nur eine Verkürzung der Wartezeit für applets zu starten, die für die typische end-user.

    • thx Tim... in der Tat fand ich die anderen threads Diskussionen zeigen dies. Für den interessierten Leser lebendig diese Diskussion später:stackoverflow.com/questions/2006035/... und javabeat.net/tips/8-using-the-new-process-builder-class.html
    • Sobald ich beginne darüber nachzudenken, multiprocessing, mein Gehirn schaltet auf C/C++ - Modus, wo die startup-Kosten nicht das hoch. aber wir sprechen über Java, und es dauert einen Monat und einen Tag, plus die Hälfte Ihrer verfügbaren ram, (möglicherweise etwas übertrieben) zu starten, eine neue JVM, die jeden weiteren Prozess benötigen. Guter Punkt, Tim.
    • nun entdeckte ich, dass dieses Ding könnte eine Lösung sein, um die Startzeit zu verkürzen: martiansoftware.com/nailgun
    • Froh, Sie haben die Informationen über, wie man erstellen Sie einen Teilprozess, ich hätte das auch, dachte aber, es wäre irrelevant. Nur ein FYI, ProcessBuilder ist bevorzugt über der Laufzeit.exec, aber es ist selten der Fall, dass irgendjemand nutzen Sie die extra-Funktionen von ProcessBuilder.
    InformationsquelleAutor Tim Bender
  2. 1

    Jeder Entwickler sollte über einige Kenntnisse über Amdahl ' s Gesetz zu verstehen, wie die multi-Verarbeitung beschleunigen würde, auf der Grundlage der gegebenen Bedingungen.

    Amdahl ' s Gesetz ist ein Modell für die Beziehung zwischen der erwarteten Beschleunigung von parallelisierte Implementierungen eines Algorithmus gegenüber dem seriellen Algorithmus unter der Annahme, dass das problem die Größe bleibt die gleiche, wenn parallelisiert.

    Dies ist eine gute Lektüre : Amdahl ' s Gesetz

    Amdahl ' s law

    • Ein bisschen orthogonal zu der Frage, da können Sie minimieren die serielle Komponente des Algorithmus mit threads oder verarbeitet, aber eine überlegung Wert.
    • Danke, aber ehrlich... das ist so weit Weg von meiner Frage. Ich Frage speziell für Empfehlungen darüber, wie zu implementieren multiprocessing in Java. Nicht über Allgemeine Gesetze zu diesem Thema, wirklich!
    • Sie können sich diese als gut. mpc.uci.edu/wget/www.tc.cornell.edu/Services/Edu/Topics/...
    • die Umsetzung Teil erwähnt wird in download.oracle.com/javase/7/docs/api/java/lang/... die Anwendung der Lesen 7 csv-Dateien ist ziemlich rudimentär und Multithread-Programme sind sicherlich mehr als ausreichend. Wenn wir es mit einer enterprise-level-Anwendung.. auch da haben wir lieber Multithread-Anwendung bcos Sie sind leicht im Gewicht. Für das Verständnis der multi-Verarbeitung in java fand ich ein Papier früher
    • google.com/...
    • java_mouse - sorry, aber dein ref ist völlig off-topic - viel zu allgemein! Ich bin auf der Suche nach "how to do multiprocessing in java, und was Geschwindigkeitssteigerungen zu erwarten?".
    • thx a lot!! Dieses Papier ist meine erste Hauptrolle in der Richtung eine Antwort! (btw es ist nicht zu Lesen, nur 7 csv-Dateien, sondern 60. Ich planen, zu skalieren und viele weitere Dateien / größere Datenmengen im Allgemeinen - daher meine Anfrage über die Vorteile von multiprocessing.)
    • -1 für off-topic. Der OP erwähnt, dass Sie schon sehen, eine Verbesserung mit multithreading.

    InformationsquelleAutor java_mouse
  3. 1

    Die Verstärkung wird dadurch bestimmt, wie lange es dauert, bis Karte/reduzieren Sie die Daten.

    Wenn, zum Beispiel, die Dateien werden geladen, auf mehreren Maschinen zu beginnen (denken Sie daran, wie Splitter die Datei system), es gibt keine Verzögerung abrufen der Daten. Wenn die Daten kommen von einem einzigen Standort aus, Sie beschränkt sich durch diesen Mechanismus.

    Dann die Daten kombinierte/aggregierte-man weiß nicht mehr, unmöglich zu erraten. Wenn die gesamte Verarbeitung hängt davon ab, dass alle Daten, es ist eine höher schlagen, als wenn die ultimative Ergebnisse können berechnet werden, unabhängig.

    Haben Sie eine sehr kleine Zahl von sehr kleinen Dateien: es sei denn, was Sie tun, ist rechnerisch teuer, ich bezweifle es wäre die Mühe Wert, aber es ist schwer zu sagen. Vorausgesetzt, es ist kein Netzwerk - /Datenträger-Engpässen erhalten Sie eine (sehr) annähernd linearer speedup mit einem delta für die Aggregation der Ergebnisse. Die wahre speedup/delta hängt von einer Reihe von Faktoren, die wir nicht viel wissen darüber an dieser Stelle.

    OTOH, Sie könnte die Einrichtung eines kleinen Hadoop-setup und versuchen Sie es einfach und sehen, was passiert.

    InformationsquelleAutor Dave Newton
  4. 1

    Überprüfen Sie die Dokumente auf Ihrem JVM, um zu sehen, ob es unterstützt multithreading. Ich bin mir ziemlich sicher, die Sonne do. Java Concurrency In Practice ist der Ort, um zu starten für multithreading.

    Den ersten Teil deiner Frage ist: ist multiprocessing überlegen multithreading, aus performance-Sicht? In einem system mit robustem multithreading-Unterstützung, threads sollten immer überlegen sein Verfahren, aus einer performance-Sicht. Es ist mehr eine Trennung zwischen den threads (kein shared memory, soweit nicht ausdrücklich setup über eine IPC-Mechanismus), so möchten Sie vielleicht gehen die Multiprozess-route zum halten gefährlicher threads treten auf einander.

    Zur Verarbeitung der Daten, threads sollte sein, den besten Weg zu gehen. Wenn threads, die auf Ihrer lokalen Maschine sind nicht genug, ich würde überspringen Vergangenheit eine Multiprozess-Lösung und gehen Sie direkt zu einem map-reduce-system wie Hadoop.

    Warum Multiprozess-apps sind erwähnt, ich denke, der Autor will, vollständig zu sein. Obwohl ein tutorial ist nicht vorhanden, einen link zur Dokumentation. Der große Nachteil der Verwendung von multiprocessing ist, dass man sich mit inter-Prozess-Kommunikation. Im Gegensatz zu threads, Sie können nicht nur teilen, etwas Speicher und werfen einige Mutexe um ihn herum und nennen es einen Tag.

    Ab in die Kommentare, es scheint, dass es einige Verwirrung darüber, was "multiprocessing" eigentlich ist. Threads sind Konstrukte, die geschaffen werden müssen, durch Ihren code. Gibt es APIs für die thread-Erstellung und-management. Prozesse, obwohl, die erstellt werden können, von hand auf der Kommandozeile. Auf einem unix-Rechner gehen Sie zum ausführen von vier Instanzen (Prozesse)foo. Beachten Sie, dass die endgültige & erforderlich ist.

    $ ./foo & ./foo & ./foo & ./foo &

    Nun, wenn Sie einen input-Datei bar dass foo verarbeiten muss, verwenden Sie so etwas wie split zu brechen Sie in vier gleich große Segmente, und führen Sie foo drauf:

    $ ./foo bar.0 > bar.0.out & ./foo bar.1 > bar.1.out & ./foo bar.2 > bar.2.out & ./foo bar.3 > bar.3.out &

    Schließlich, werden Sie brauchen, um zu kombinieren die bar.?.out - Dateien. Läuft eine Prüfung wie diese, sollten Sie etwas Gefühl für, ob die Verwendung der schwergewichtigen Prozesse ist eine gute Idee für Ihre Anwendung. Wenn Sie bereits gebaut, ein multi-threaded-Anwendung, wird das wohl in Ordnung sein. Aber fühlen Sie sich frei, um einige Experimente, um zu sehen, wenn Prozesse besser funktionieren. Sobald Sie sicher sind, dass Prozesse sind der Weg zu gehen, organisieren Sie Ihre code verwenden ProcessBuilder zu drehen bis die Prozesse selbst.

    • Danke, aber diese keine Antwort auf meine Frage. Ich verwende bereits multithreading (es funktioniert gut!), und würde gerne eine Quelle finden, oder detaillierte Erklärung, wie/warum/Wann multiprocessing würde die Leistung zu verbessern. Btw, ich habe Java Concurrency in der Praxis: ist es nicht beschwören multiprocessing, nur multithreading.
    • Meine Vermutung ist: es sei denn, man läuft in den Speicher - /cpu-Einschränkungen eines einzelnen Prozesses, und tut einige wirklich schwere Zeug, vermutlich nur selten oder nie. Inter-Prozess-Kommunikation ist gonna verschlingen einige der performance-Vorteil, und infolgedessen entstehen neue Prozesse, die oft etwas teuer, also würde es nur Sinn machen für lang andauernde Aufgaben. Ein Vorteil, denke ich, ist die Stabilität. Wenn ein Prozess abstürzt, der rest bleibt unberührt. Google Chrome verwendet einen eigenen Prozess pro tab, um sicherzustellen, dass Websites, die ruinieren Ihren Tag nicht nehmen, den ganzen browser.
    • In einem system mit robusten threading (so ziemlich jedes moderne Unix oder Windows), multithreading ist bevorzugt zu Rendern. Der Grund dafür ist, dass es weniger overhead im Zusammenhang mit threads, so können Sie schneller drehen Sie und tötet Sie. Sie erhalten auch shared memory, das ist ein netter bonus. Auf älteren Systemen, multiprocessing, war der Weg zu gehen. Das ist der Grund, warum Apache 1.x ist multi-Prozess-und Apache 2.x ist multithreaded, und jeder nutzt Apache 2 nun.
    • Der einzige Grund für die Verwendung von Prozessen über threads, die ich denken kann, sind Sicherheit und Skalierbarkeit. Für das Lesen von mehreren csv-Dateien weder ist wichtig, aber dann einfädeln kann sogar zu verlangsamen das Lesen der Datei runter..
    • Ich Neige dazu, sehr skeptisch mit all den Kommentaren hier. Multhithreading mit 7 threads, die im Grunde Geschwindigkeiten bis zu 7-mal (minus ein klein wenig ovehead...) meine i/o-operation (einfach: importieren 60 csv-Dateien, die jeweils etwa 5Mb oder mehr). Ich weiß, dass multiprocessing würde bedeuten mehr Aufwand, aber es bringt Geschwindigkeit gewinnt, wie gut!
    • So könnten wir aufhören, Vermutungen und jemand kennt ein Buch oder tutorial multiprocessing (nicht nur multithreading!) in java?
    • Was macht Sie denken, dass multiprocessing schaffen würde jeder Geschwindigkeit Gewinne überhaupt? Sie gehen zu müssen, um die Neugestaltung Ihren code in separate Prozesse. Dann sind Sie entweder Gabel ein Bündel von Prozessen oder verwenden Sie den ProcessBuilder. Alternativ können Sie teilen Sie Ihre input-Datei in N chunks und Schreibe ein paar perl-oder shell ausgeführt werden N Kopien von Ihrem code in parallel. Das wird schnell sagen, ob es eine Verstärkung, um zusätzliche Prozesse.
    • Ich aktualisiert meine Antwort wieder an Einzelheiten auf, wie leicht experiment mit multiprocessing. Es ist nicht Rakete Wissenschaft, Sie denken, es ist!
    • Thx für den edit @ObscureRobot, das ist ermutigend!
    • Dude, entspannen. SO Leute sind sehr freundlich und hilfsbereit. Normalerweise sind Sie nicht zufrieden, bis die Frage richtig beantwortet, sobald es erzeugt ein gewisses Interesse. Sitzen Sie es aus für ein bisschen und du bekommst gute Sachen wie ObscureRobot gepostet.
    • Es gibt gute Informationen in den anderen Antworten auch.
    • Wir sind nicht so Vermutungen. Wenn kann man eine weitere Beschleunigung durch den Einsatz von Prozessen, die Sie bekommen können, mindestens die gleiche Beschleunigung, die durch die Verwendung von threads. Wenn Sie zwei Mechanismen, die beide tun genau das gleiche, man hat aber einen viel höheren Aufwand, die man glauben Sie, wird schneller sein? Mehrere Prozesse haben Ihre Vorteile, über mehrere threads, aber es ist natürlich keine zusätzliche Beschleunigung (vorausgesetzt, 64-bit zumindest). Wenn Sie behaupten, sonst bieten einige bedeutende benchmark für das äußerst überraschende Forderung (versuchen Sie, auf linux, auf windows der Prozess der Erstellung von overhead werden Sie töten)

    InformationsquelleAutor ObscureRobot
  5. 1

    Es gibt mehrere Möglichkeiten, einen neuen Prozess starten, der in Java:

    1. ProcessBuilder.start()
    2. Laufzeit.exec() arbeitet rund um ProcessBuilder
    3. Apache Commons Exec , die arbeitet, um Runtime.exec()

    Mit ProcessBuilder:

    ProcessBuilder pb =
new ProcessBuilder("myCommand", "myArg1", "myArg2");
Map<String, String> env = pb.environment();
env.put("VAR1", "myValue");
env.remove("OTHERVAR");
env.put("VAR2", env.get("VAR1") + "suffix");
pb.directory(new File("myDir"));
File log = new File("log");
pb.redirectErrorStream(true);
pb.redirectOutput(Redirect.appendTo(log));
Process p = pb.start();
assert pb.redirectInput() == Redirect.PIPE;
assert pb.redirectOutput().file() == log;
assert p.getInputStream().read() == -1;

    Mit Runtime:

    Runtime r = Runtime.getRuntime();
Process p = r.exec("firefox");
p.waitFor(10, TimeUnit.SECONDS);
p.destroy();

    Mit Apache Commons Exec:

    String line = "AcroRd32.exe /p /h " + file.getAbsolutePath();
CommandLine cmdLine = CommandLine.parse(line);
DefaultExecutor executor = new DefaultExecutor();
int exitValue = executor.execute(cmdLine);

    Wichtigsten Unterschiede zwischen Multiprocessing und Multithreading von diese:

    • Der wesentliche Unterschied zwischen multiprocessing und multithreading ist, dass multiprocessing ermöglicht es, ein system zu haben, mehr als zwei CPUs Hinzugefügt, um das system in der Erwägung, dass multithreading ermöglicht einem Prozess das erstellen mehrerer threads zum erhöhen der Rechengeschwindigkeit eines Systems.
    • Multiprocessing-system führt mehrere Prozesse gleichzeitig in der Erwägung, dass die multithreading-system durchführen lassen, mehrere threads eines Prozesses gleichzeitig.
    • Erstellung eines Prozess kann Zeit beanspruchen und auch erschöpfen die Systemressourcen. Jedoch erstellen von threads ist ökonomisch, denn threads, die zu den gleichen Prozess teilen sich den Besitz des Prozesses.
    • Multiprocessing können unterteilt werden in symmetrische multiprocessing und asymmetrischen multiprocessing in der Erwägung, dass multithreading nicht weiter klassifiziert.

    Weiterführende links:

    • Danke. "Runtime.exec() funktioniert rund um ProcessBuilder" und "Apache Commons Exec, der arbeitet rund um die Runtime.exec()". Meinst du ProcessBuilder ist bevorzugt über der Laufzeit.exec(), die über Apache Commons Exec?
    • Ich denke, es hängt davon ab, was Sie tun möchten. Wenn Sie nicht möchten, verwenden Sie Apache lib, könnten Sie versuchen, Laufzeit. Aber wenn Sie wollen, mehr zu tun, komplizierte Dinge ProcessBuilder könnte Ihre Wahl sein.
    InformationsquelleAutor Eugene Lopatkin
  6. 0

    Für viele Anwendungsfälle, multithreading, hat weniger Aufwand als das multiprocessing beim Vergleich der Laichzeit einen thread vs erzeugen eines Prozesses als auch der Vergleich Kommunikation zwischen threads vs inter-Prozess-Kommunikation.

    Jedoch es gibt Szenarien, in denen die multithreading-Leistung beeinträchtigen kann, zu dem Punkt, wo ein einzelner thread übertrifft mehrere threads, wie Fälle stark betroffen von false-sharing. Mit multiprocessing, da jeder Prozess hat seinen eigenen Speicherbereich es gibt keine Wahrscheinlichkeit für false sharing auftreten und die multiprocessing-Lösung kann besser abschneiden als der multithreading-Lösung.

    Insgesamt einige Analyse durchgeführt werden sollte, wenn die Wahl eines concurrent programming Lösung, da Sie die beste Performance-Lösung kann variieren auf einer Fall-zu-Fall-basis. Multithreading kann nicht davon ausgegangen werden, übertreffen die multiprocessing-da gibt es offensichtlich Situationen, in denen multithreading führt schlimmer, als ein einzelner thread. Wenn die Leistung ist ein wichtiger Aspekt, führen benchmarks zu vergleichen, single-thread, single-process vs. multithreading vs multiprocessing-Lösungen, um sicherzustellen, dass Sie wirklich gewinnt die performance-Vorteile, die erwartet werden.

    Einen kurzen Hinweis, gibt es andere überlegungen neben der Leistung bei der Auswahl einer Lösung.

    InformationsquelleAutor Hazok
Schreibe einen Kommentar