Wie schreibe ich einen korrekten Mikro-Benchmark in Java?

Tipps zum schreiben von micro-benchmarks von den Machern von Java-HotSpot:

Regel 0: Lesen einem seriösen Papier auf JVMs und micro-benchmarking. Ein guter ist Brian Goetz, 2005. Erwarten Sie nicht zu viel von micro-benchmarks; Sie Messen nur eine begrenzte Anzahl von JVM-performance-Merkmale.

Regel 1: Immer auch ein warm-up phase läuft Ihr test-kernel, den ganzen Weg durch, genug, um die trigger-alle Initialisierungen und compilations, bevor die timing-phase(s). (Weniger Iterationen ist OK, auf der warmup-phase. Die Faustregel ist, mehrere Zehntausende von inneren schleifendurchläufe.)

Regel 2: laufen Immer mit -XX:+PrintCompilation-verbose:gc usw., so können Sie sicherstellen, dass der compiler und andere Teile der JVM sind nicht dabei unerwartete Arbeit während der timing-phase.

Regel 2.1: Drucken, Nachrichten an den Anfang und das Ende-timing-und-warm-up-Phasen, so dass Sie überprüfen können, dass es keine Ausgabe von Regel 2 während der timing-phase.

Regel 3: sich bewusst Sein, der Unterschied zwischen -client und -server, und OSR und fortlaufenden Sammelwerken. Die -XX:+PrintCompilation flag-Berichte OSR-Zusammenstellungen mit einem at-Zeichen zu Kennzeichnen die nicht-Initiale Einstiegspunkt, zum Beispiel: Trouble$1::run @ 2 (41 bytes). Lieber server, client, und regelmäßige, OSR, wenn Sie nach der besten performance.

Regel 4: bewusst Sein, Initialisierung Effekte. Nicht das erste mal drucken, während Sie Ihr timing, phase, da sich das drucken und lädt und initialisiert Klassen. Laden Sie keine neuen Klassen außerhalb der warmup-phase (oder finalen reporting phase), es sei denn, Sie werden die Prüfung der Klasse be-insbesondere (und in diesem Fall laden Sie nur die test-Klassen). Regel 2 ist Ihre erste Linie der Verteidigung gegen solche Effekte.

Regel 5: bewusst Sein, deoptimization und Neukompilierung Effekte. Nehmen Sie keine code-Pfad für die erste Zeit, in der timing-phase, denn der compiler kann die junk-und kompilieren Sie den code, basierend auf einem früheren optimistischen Annahme, dass der Pfad wurde nicht benutzt werden. Regel 2 ist Ihre erste Linie der Verteidigung gegen solche Effekte.

Regel 6: Verwenden Sie geeignete Werkzeuge zum Lesen der compiler ist der Meinung, und erwarten Sie, überrascht zu sein von dem code, den es produziert. Untersuchen Sie den code selbst, bevor er Theorien über das, was etwas schneller oder langsamer.

Regel 7: Reduzieren Sie Rauschen in den Messungen. Führen Sie Ihre benchmark auf eine ruhige Maschine, und führen Sie es mehrmals, verwerfen von Ausreißern. Verwenden -Xbatch zu serialisieren Sie den compiler mit der Anwendung, und ziehen Sie in Betracht -XX:CICompilerCount=1 um zu verhindern, dass der compiler ausgeführt wird, parallel mit sich selbst.

Regel 8: Nutzen Sie die Bibliothek für Ihre benchmark, da ist es wahrscheinlich effizienter und wurde schon ausgetestet, die zu diesem Zweck. Wie JMHBremssattel oder Bill-und-Pauls-Exzellente UCSD-Benchmarks für Java.

InformationsquelleAutor der Antwort

Wichtige Dinge für Java-benchmarks sind:

• Warm-up der JIT-zuerst durch ausführen von code mehrere Male, bevor die zeitliche
• Stellen Sie sicher, dass Sie es für lange genug, um in der Lage sein, um die Ergebnisse zu Messen, in Sekunden oder (besser) zehn Sekunden
• Während Sie können nicht nennen System.gc() zwischen Iterationen, ist es eine gute Idee, um Sie zwischen den tests, so dass jeder test, der hoffentlich bekommen die einen "sauberen" Speicher, mit zu arbeiten. (Ja, gc() ist mehr ein Hinweis als eine Garantie, aber es ist sehr wahrscheinlichdass es wirklich Müll sammeln, in meiner Erfahrung.)
• Ich gerne zeigen Iterationen und Zeit, und eine Punktzahl von Zeit/iteration, die skaliert werden können, so dass die "best" - Algorithmus wird eine Punktzahl von 1.0 und die anderen sind Tore, die in eine relative Mode. Das bedeutet, Sie können laufen alle algorithmen für einen längeren Zeit, variierend sowohl die Anzahl der Iterationen und Zeit, aber noch immer vergleichbare Ergebnisse.

Bin ich nur in den Prozess der das Bloggen über die Gestaltung eines benchmarking-Rahmen .NET. Ich habe eine paar von frühere Beiträgedie möglicherweise in der Lage sein, um Ihnen einige Anregungen geben - nicht alles wird geeignet sein, natürlich, aber einige kann es sein.

InformationsquelleAutor der Antwort Jon Skeet

Sollten die benchmark-Messung von Zeit/iteration oder Iterationen/Zeit, und warum?

Es hängt davon ab, was Sie versuchen, zu testen. Wenn Sie daran interessiert sind, Latenz, verwenden Sie Zeit/iteration und wenn Sie daran interessiert sind, den Durchsatz verwenden Iterationen/Zeit.

InformationsquelleAutor der Antwort Peter Lawrey

Wenn Sie versuchen, zu vergleichen zwei algorithmen, mindestens zwei benchmarks auf den einzelnen, im Wechsel der Reihenfolge. also:

for(i=1..n)
  alg1();
for(i=1..n)
  alg2();
for(i=1..n)
  alg2();
for(i=1..n)
  alg1();

Habe ich gefunden einige deutliche Unterschiede (5-10% manchmal) in der Laufzeit der gleiche Algorithmus in verschiedenen Durchläufen..

Stellen Sie außerdem sicher, dass n ist sehr groß, so dass die Laufzeit der einzelnen Schleifen ist zumindest 10 Sekunden oder so. Je mehr Iterationen, desto mehr bedeutende Persönlichkeiten, die in Ihrem benchmark-Zeit und zuverlässiger Daten.

InformationsquelleAutor der Antwort Kip

Es sollte auch darauf hingewiesen werden, dass es vielleicht auch wichtig sein, zu analysieren, die Ergebnisse der micro-benchmark beim Vergleich verschiedener Implementierungen. Daher Signifikanz-test gemacht werden sollte.

Dies ist, weil die Umsetzung A könnte schneller sein, bei den meisten läuft der benchmark als Umsetzung B. Aber A könnte auch ein höherer spread, also die gemessene Leistung von A nicht von Bedeutung, wenn im Vergleich mit B.

So ist es auch wichtig, zu schreiben und führen Sie eine micro-benchmark korrekt, aber auch, um es richtig zu analysieren.

InformationsquelleAutor der Antwort SpaceTrucker

Hinzufügen, um den anderen gute Ratschläge, ich würde auch darauf achten, die folgenden:

Für einige CPUs (z.B. Intel Core i5-Reihe, mit TurboBoost), der Temperatur (und die Anzahl der Kerne, die derzeit verwendet wird, als auch thier-Nutzung Prozent) wirkt sich auf die Geschwindigkeit. Da die CPU dynamisch getaktet wird, kann dies Auswirkungen auf Ihre Ergebnisse. Zum Beispiel, wenn Sie eine single-threaded-Anwendung, die maximale Taktrate (mit TurboBoost) ist höher als für eine Anwendung mit allen Kernen. Deshalb kann es stören Vergleiche von Einzel-und multi-threaded-performance auf einigen Systemen. Beachten Sie, dass die Temperatur und volatages auch beeinflussen, wie lange Turbo-Frequenz beibehalten wird.

Vielleicht ein grundlegend wichtiger Aspekt, dass Sie die direkte Kontrolle über: stellen Sie sicher, dass die Messung das richtige für Sie! Zum Beispiel, wenn Sie System.nanoTime() benchmark einer bestimmten bit-code, legen Sie die Anrufe auf die Abtretung an Orten, die Sinn machen, zu vermeiden, Dinge zu Messen, die Sie nicht interessieren. Zum Beispiel sollten Sie nicht tun:

long startTime = System.nanoTime();
//code here...
System.out.println("Code took "+(System.nanoTime()-startTime)+"nano seconds");

Problem ist, du bist nicht sofort immer am Ende der Zeit, wenn der code fertig ist. Versuchen Sie stattdessen Folgendes:

final long endTime, startTime = System.nanoTime();
//code here...
endTime = System.nanoTime();
System.out.println("Code took "+(endTime-startTime)+"nano seconds");

InformationsquelleAutor der Antwort Sina Madani