Java TCP/IP Socket-Performance Problem

Unserer Anwendung ist das Lesen von Daten sehr schnell über TCP/IP-sockets in Java. Wir sind mit der NIO-Bibliothek mit einer non-blocking-Sockets und einen Selektor, um anzuzeigen, Bereitschaft zu Lesen. Im Durchschnitt der gesamten Bearbeitungszeit für die Lektüre und Verarbeitung der gelesenen Daten werden im sub-Millisekundenbereich.
Allerdings haben wir Häufig sehen, Spitzen von 10-20 Millisekunden. (läuft auf Linux).

Mit tcpdump wir können sehen, dass die Zeitdifferenz zwischen tcpdump ist das Lesen von 2 diskrete Nachrichten, und vergleichen Sie mit unseren Anwendungen Zeit. Wir sehen tcpdump zu haben scheint, keine Verzögerung, in der Erwägung, dass die Anwendung zeigen können 20 Millisekunden.

Wir sind ziemlich sicher, dass dies nicht GC, denn die GC-log zeigt nahezu keine Full GC und in JDK 6 (von dem was ich verstehe) die Standard-GC-parallel ist, so sollte es nicht anhalten, die Anwendungs-threads (es sei denn Full GC).

Es beinahe so aussieht, als wenn es eine Verzögerung für Java Selector.select(0) Methode zum zurückgeben der Bereitschaft zu Lesen, da der TCP-Schicht, die Daten sind bereits verfügbar, gelesen zu werden (und tcpdump ist es zu Lesen).

Zusätzliche Info: bei Spitzenlast arbeiten wir rund 6.000 x 150 avg bytes pro Nachricht, oder über 900 MB pro Sekunde.

  • Wie @Jim Lewis, sagte, es wird wahrscheinlich noch einige Zeit-der Verlust an Kontext-switching, und Sie können nicht Steuern, wie Java implementiert NIO intern. Es ist durchaus möglich, dass die JVM fügt einige zusätzlichen Aufwand, den Sie nicht beseitigen können. Das heißt, ohne zu sehen, mehr Daten kann ich nicht wirklich eine Lösung bieten.
  • Gut - ich räumte meinen abgelehnten Antworten. Ich möchte nicht, dass jemand zu denken, dass ich keinen Wert auf die Zeit, die Sie nahm, um die Frage zu beantworten.
  • Ich könnte helfen, geben einige details über jvm kernel/Distribution, hardware
  • O/S=Linux Red Hat Enterprise 5.4, Kernel-version=2.6, JVM=Java(TM) SE Runtime Environment (build 1.6.0_06-b02) Java HotSpot(TM) Server VM (build 10.0-b22, gemischter Modus), NIC: NIC: 01:00.0 Ethernet controller: Broadcom Corporation NetXtreme II BCM5709 Gigabit Ethernet (rev 20), Netzwerk-Geschwindigkeit=1 Gbit / s Full Duplex.
  • die Infos sollten in deiner Frage.
InformationsquelleAutor Sam Goldberg | 2011-03-14
  1. 4

    Kollektion eden noch gegen STW pause also 20ms kann völlig normal-je nach Zuordnung-Verhalten & heap-Größe/Größe der live-set.

    • Nach viel mehr Tests, profiling, etc. Haben wir festgestellt, dass GC auch kleinere GC mit ParallelGC scheint halt alles. Pausen Bereich von 2 ms bis 20 ms. Machen Sie den code effizienter könnte verringern Sie die Anzahl der GC-Zyklen, und vielleicht sogar GC-Zeit. So dies wirkt sich auf die Latenzzeit-socket-Kommunikation, und es scheint, gibt es nichts, was getan werden kann. Wir haben test-RTLinux, und so keine wesentliche Verbesserung. Wir begannen die Untersuchung von Echtzeit-Java, aber nicht glaube, es war die beste avenue (Kosten-Weise, und-Komplexität-wise).
    • Die MEISTEN CMS ist parallel. Es ist nur eine sehr kleine STW Teil.. das scheint zu sein, die 20ms, die Sie sehen, (Sie können binden Sie es zurück auf den GC-logs). Wenn Sie möchten, vorhersehbare Pausen, man kann sich in G1 Sammler, aber Sie haben insgesamt mehr Pausen als die CMS.
    InformationsquelleAutor Matt
  2. 3

    Ist dein Java-code läuft unter RTLinux, oder eine andere Distribution mit hard real-time scheduling-Funktion? Wenn nicht, 10-20 MS jitter in der Bearbeitung mal scheint völlig vernünftig, und erwarten.

    • Ich würde nicht erwarten, dass 10-20ms jitter für alle modern box, die nicht ernsthaft überlastet, sogar ein paar 00us ist eine Menge.
    • Wie ich es verstehe, 10 ms ist ein typischer Wert für die Länge einer Zeitscheibe in einem Linux/x86 non-real-time scheduler. Also, wenn die select () - Aufruf liefert die CPU ist, könnte es leicht zu nehmen, die lange für diesen job zu bekommen, wieder geplant.
    • Ich versuche zu verstehen, Ihren Kommentar - wir sind mit Red Hat Enterprise 5.4. 2 CPUs. Die Maschine wird hauptsächlich besetzt Ausführung der Java-Anwendung und MySQL. Ausschalten Datenbank aktualisieren oder andere Prozesse auf dem server zu haben scheint keine Auswirkungen auf die Latenz-Spitzen. Glaubst du, möglicherweise können wir diese Adresse durch den Wechsel zu einer RTLinux-Verteilung.
    • afaik der aktuelle linux-scheduler (CFS) ist nicht mal in Scheiben geschnitten, einige detail hier so dass ich don ' T glaube, Sie können davon ausgehen, 100Hz interrupts bedeutet wakeup auf 10ms Grenzen. Es könnte bedeuten, 10ms Auflösung zu bestimmten Zeitstempeln, wohlgemerkt.
    • Es ist möglich, dass die Umstellung auf RTLinux würde Ihnen mehr Kontrolle über diese Latenz, ja. Sicher schwer zu sagen, aber Ihr 10-20 msec Latenz sicher Klang wie scheduling-jitter auf mich...aber ich bin nicht vertraut mit moderneren Sachen wie CFS. Kann es sein, Möglichkeiten zur Verringerung der Latenzzeit durch das tuning der Parameter für die zeitgesteuerte Verarbeitung und Prozess-Prioritäten, ohne Rückgriff auf eine vollständige geblasen RT-Betriebssystem. Auch Matt ' s Bemerkung über die timestamp-Auflösung ist eine überlegung Wert.
    InformationsquelleAutor Jim Lewis
  3. 2

    Ich hatte das gleiche problem in einem java-service, dass ich die Arbeit auf. Beim versenden der gleichen Anfrage
    immer wieder aus der client den server blockieren würde an der gleichen Stelle im Datenstrom für 25-35ms.
    Deaktivieren des Nagle-Algorithmus in der Buchse fest für mich.
    Dies kann erreicht werden durch Aufruf von setTcpNoDelay(true) auf den Sockel.
    Dies kann dazu führen, erhöhte Netzwerk-Staus, weil ACKs wird jetzt gesendet werden als separate
    - Pakete.
    Sehen http://en.wikipedia.org/wiki/Nagle%27s_algorithm für mehr info auf den Nagle-Algorithmus.

    InformationsquelleAutor Adam Henderson
  4. 1

    Aus der tcpdump-faq:

    WANN WIRD EIN PAKET MIT EINEM ZEITSTEMPEL VERSEHEN? WIE
    GENAU SIND DIE ZEITSTEMPEL?

    In den meisten Betriebssystemen, auf denen tcpdump und
    libpcap laufen, das Paket ist an der Zeit
    gestempelt als Teil des Prozesses der
    Netzwerk-interface, device-Treiber, oder
    der Netzwerk-stack, der Handhabung.
    Dies bedeutet, dass das Paket nicht an der Zeit
    gestempelt in dem Augenblick, dass es ankommt
    an der Netzwerk-Schnittstelle; nach der
    Paket kommt an das Netzwerk
    Schnittstelle, wird es eine Verzögerung, bis
    ein interrupt ist geliefert oder die
    Netzwerk-Schnittstelle abgefragt wird (d.h., die
    Netzwerk-Schnittstelle kann nicht unterbrechen
    die host-sofort - der Fahrer kann
    eingerichtet werden, um Abfragen der Schnittstelle, wenn
    das Netzwerk stark belastet ist, zu reduzieren
    die Anzahl der interrupts und Prozess
    mehr Pakete pro interrupt), und es
    eine weitere Verzögerung zwischen der
    Punkt, an dem der interrupt startet
    verarbeitet wird, und der Zeitstempel wird
    generiert.

    Also Verschiedenheit, der timestamp wird in den privilegierten kernel-Ebene, und die verlorenen 20ms ist context-switching-overhead zurück in den user-space und in Java und der JVM-Netzwerk-Selektor Logik. Ohne weitere Analyse des Systems als ganzes ich denke nicht, dass es möglich ist, eine positive Auswahl der Ursache.

    • Reden Sie über Ihre Reaktion mit anderen Jungs in unserem Büro. Sie wies darauf hin, dass die spikes, die wir sehen, sind bis zu 40 ms. Unterschied von tcpdump. Das scheint zu groß zu sein, der Unterschied erklärt sich durch die oben genannten. Es ist wirklich inkonsistent "spiking" - Verhalten versuchen wir zu beheben.
    • Sind Sie sicher, Sie haben beseitigt GC-Operationen als Ursache? Welcher Prozentsatz der Anfragen, die im Ergebnis eine "spike?"
    InformationsquelleAutor Chris K
Schreibe einen Kommentar