Verhindern OutOfMemory bei der Verwendung von java.nio.MappedByteBuffer

Betrachten-Anwendung, die 5-6 threads, jeder thread in dem Zyklus zuordnen MappedByteBuffer für 5mb die Größe der Seite.

MappedByteBuffer b = ch.map(FileChannel.MapMode.READ_ONLY, r, 1024*1024*5);

Früher oder später, wenn die Anwendung funktioniert mit großen Dateien, oom ausgelöst

java.io.IOException: Map failed  at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:758)
Caused by: java.lang.OutOfMemoryError: Map failed
        at sun.nio.ch.FileChannelImpl.map0(Native Method)
        at sun.nio.ch.FileChannelImpl.map(FileChannelImpl.java:755)

Laut Spezifikation, MappedBuffer entsorgen sollte direct-memory-sobald es die GC selbst. Sieht aus wie das problem ist, dass MappedBuffer-s GC-ed zu spät, später dann direct memory fertig.

Wie Sie diese situation vermeiden ? Wahrscheinlich sagen MappedBuffer zu entsorgen implizit oder verwenden Sie eine Art pool von MappedBuffer

  • Durch Neugier, was Ihr code tun?
  • Die Ausnahme ist NICHT OOM aber IOException. Sie sind der virtuelle Adressraum. Zeigen Sie ein bisschen mehr code. Die zugeordneten Puffer und Rückgewinnung in java ist eine lange Zeit, Fragen (immer noch ungelöst aus)
InformationsquelleAutor user12384512 | 2011-12-18
  1. 6

    Können Sie vermeiden, dass der Auslöser eine GC durch die Reinigung der zugeordneten byte-Puffer direkt.

    public static void clean(ByteBuffer bb) {
    if(bb == null) return;
    Cleaner cleaner = ((DirectBuffer) bb).cleaner();
    if(cleaner != null) cleaner.clean();
}

    Zur Verfügung gestellt nennen Sie diese, bevor Sie Sie verwerfen, Sie nicht run out of virtual memory.

    Vielleicht können Sie einen Blick auf die Erstellung von größeren ByteBuffers weniger oft (es sei denn, Sie haben eine große Anzahl von Dateien) Erstellen eines MappedByteBuffer nicht frei ist (dauert etwa 50 Mikro-Sekunden auf einigen Maschinen)

    • Leider, diese Methoden werden etwas zu tun, aber Sie nicht wirklich Abkoppeln ByteBuffer als solche. Diese Methode funktioniert nur für direct memory.
    InformationsquelleAutor Peter Lawrey
  2. 3

    Die Fehlermeldung sagt "map failed", nicht "heap space" oder "permgen space". Dies bedeutet, dass die JVM nicht genügend Adressraum zur Verfügung.

    Sehen dieser Fehler in der Sonne die Datenbank, und auch diese Frage.

    Der erste link bietet einen workaround (ewww), die nahe dem, was der zweite link sagt:

        try {
        buffer = channel.map(READ_ONLY, ofs, n);
    } catch (java.io.IOException e) {
        System.gc();
        System.runFinalization();
        buffer = channel.map(READ_ONLY, ofs, n);
    }
    • Abhängig von der GC-algorithmen und Ihre Parameter die System.gc() nennen könnte ein NOP. Mit -XX:+DisableExplicitGC effektiv die hässlichen Flecken fangen die OOM und Wiederholung nach der GC Antrag
    InformationsquelleAutor fge
  3. 2

    Vielleicht ein WeakHashMap zu bündeln, um diese MappedBuffers funktionieren würde.

    Aber bevor Sie Vermutung über die Ursache, würde ich empfehlen, Einhaken Ihre app bis zu Visual VM 1.3.3, mit allen plugins installiert, so können Sie genau sehen, was der OOM Fehler. Du bist davon ausgegangen, dass diese MappedBuffers tun es, aber Sie sind nur 5MB für jeweils 5-6 threads - 25-30MB insgesamt.

    Bessere Daten haben als eine Vermutung. Visual VM wird es für Sie.

    • Naja, eigentlich kann jeder thread erstellen viel Puffer im Zyklus, abhängig von der Dateigröße. Dies bedeutet, dass der Gesamtbetrag der Puffer sind nicht begrenzt. Wahrscheinlich sollte ich eine Art von semaphor um zu verhindern, dass die Zuteilung der riesigen Menge von Speicher. Trotzdem werde ich versuchen die profiler, die Sie vorgeschlagen
    • Die zugeordneten Puffer nicht zusammengefasst werden! Sie werden erstellt, um die Abdeckung eine Adresse zurückgegeben, die durch die Zuordnung der virtuellen Adresse zu einer Position in der Datei und das laden von Daten durch die Seitenfehler + schreiben wieder auf Datei-handle schließen oder zu verlangen.
    • ...und WeakHashMap ist völlig nutzlos/schädlich, da der Schlüssel nicht der Puffer selbst, daher ist es nicht auch ein GC-verfügbar sind, bevor das WeakHashMap ist gestrichen (intern). Mit einem GC-abhängige Struktur für das problem ist definitiv falsch.
    • Lustig, wie bestsss kommentiert jede Antwort, aber bot nichts selbst. Lassen Sie uns sehen, Ihre Antwort auf die Frage.
    • Ich würde die Antwort, ich bat um mehr code. Mit der one derzeit gibt es keine Lösung. Es läuft der virtuelle Speicher und die Karte kann nicht gelingen. Es ist schwer und erfordert in der Regel design-änderungen und vorausdenken. Lesen Sie meinen Kommentar unter der Frage. Es ist keine Beleidigung gegen deine Antwort, aber jede GC-bezogene Lösung gebunden ist schlimmer als der Fehler selbst. GC versagt zu reklamieren, den virtuellen Speicher (von garbaging alle Ansichten die Adresse schnell genug), und wenn die explizite GC deaktiviert ist...
    • Nichts für ungut genommen; ich denke, Ihr Kommentar ist vor Ort auf, und die meisten aufschlussreich. Ich habe in deinem Profil nicht sehen, wie viele Antworten, wie ich es erwarten würde von jemandem, mit dem wissen, das Sie zu haben scheinen.
    • aber... ich Schreibe Kommentare, die meisten der Zeit, die (auch offensichtlich). Oder wenn ich Antwort setzte ich einiges an code (manchmal über 200 Zeilen)
    • Ich fand deine Kommentare hier sehr gut zu sein, in der Tat. Vielen Dank für die Buchung Ihnen - sehr lehrreich.

    InformationsquelleAutor duffymo
  4. 0

    MappedBuffer entsorgen sollte direct memory so schnell wie es ist GC selbst

    Gar nicht wirklich sagen, dass überall dort, wo ich das sehen kann. Es ist ein langjähriger Bug Parade Element, das sagt, es ist nie veröffentlicht.

    Tut es sagen:

    Es wird daher empfohlen, den direkten Puffer zugewiesen werden, in Erster Linie
    für große, langlebige Puffer

    • Sie entsorgen für Sie sicher das größte Problem ist, dass eine kleine java-Objekt speichert Referenz auf Megabyte und der GC nicht halten es überall dringend releases und schließen/trennen der virtuellen Speicher.
    • Entweder sind Sie "entsorgt" oder Sie sind es nicht. Make up your mind. Sie müssen sich bis <a href="Fehler" >bugs.sun.com/bugdatabase/... Parade item #4724038</a>. Es ist mit Ihnen nicht einverstanden.
    • Lesen Sie den Kommentar nochmal. Sie werden entsorgt, aber allzu oft stark verzögert. Ich kenne den Fehler auch und die native impl auf Windows-und Linux/Solaris. Der bug nicht sagen, die zugeordneten Puffer werden nicht aufgehoben, Sie sind NACH dem ByteBuffer (und seine Ansichten) sind Müll gesammelt. Sie lassen sich eben nicht zwangsweise geschlossen/nicht zugeordnete über normal bedeutet. Es war immer möglich zu hacken um und trennen Sie den Puffer zu riskieren SIGSEV oder mit einer anderen Datei oder einem unbestimmten Ergebnis.
    • der Fehler hat keine einfache Lösung b/c wurde eine Adresse nicht atomar unmapped (+flush) und dann neu zugeordnet NUL-Gerät. OS bietet eine solche Funktionalität würde den trick tun. Hinzufügen von Synchronisierungen töten würde Leistung. Wenn ein OS bieten m_null_unmap oder etwas ähnliches, es würde den trick tun. Das ist es: markiert die Seiten, die nicht im Besitz des Prozesses, geleert und die Karten zurück auf null Gerät. Jeder gleichzeitige Zugriff führt zu page fault), so dass das OS damit umgehen kann.
    InformationsquelleAutor user207421
Schreibe einen Kommentar