Heap-Fragmentierung bei der Verwendung von byte-arrays

Ich habe ein C# 4.0-Anwendung (single-producer/single consumer), die transfers riesige Menge von Daten in Blöcken. Es gibt zwar keine neue Speicherzuweisung I run out of memory nach einer Weile.

Ich profilierte Speicher mit Redgate Speicher-profiler und es gibt eine Menge freien Speicher gibt. Es sagt, dass der freie Speicher nicht eingesetzt werden, weil der Fragmentierung.

Verwende ich eine Blockierung Auflistung als Puffer-und byte-arrays als Mitglieder:

BlockingCollection<byte[]> segments = new BlockingCollection<byte[]>(8);
//producer:
segments.Add(buffer);
//consumer:
byte[] buffer = _segments.Take();

Wie kann ich verhindern, dass ich es geschafft die Fragmentierung des Speichers?

InformationsquelleAutor Xaqron | 2011-04-17
  1. 10

    Du wahrscheinlich lief in dem large object heap-problem - Objekte, die größer sind als 85.000 Byte beträgt, werden auf dem large object heap, die nicht komprimiert wird, die führen kann zu seltsamen out-of-memory-Situationen. Obwohl Sie anscheinend die Leistung in .NET 4 wurde verbessert, es ist bei weitem nicht perfekt. Die Lösung ist im Grunde verwenden Sie Ihre eigenen Puffer-pool, die enthält ein paar statisch reservierte Speicherbereiche und verwenden diese.

    Es gibt eine ganze Reihe von Fragen, etwa, dass auf SO.

    Update: Microsoft bietet eine Puffer-manager als Teil des WCF-stack. Es ist auch auf codeproject.

    • Chris hat Recht, die andere option ist die Verwendung der Objekte, die kleiner als 85k, so dass Sie am Ende nicht zugeteilt, auf dem LOH.
    • Microsoft-Lösung ist gut genug für meinen Fall. Da es Abstrakt ist, die ich implementieren sollte mir. Dann sollte ich eine static Puffer-manager für alle Instanzen von Daten-Transporter oder ein singleton oder eine Instanz Mitglied pro Daten-transporter (jedes Daten-transporter lebt für 2-3 Stunden und es sind 1000 von Ihnen, jeder nutzt 8x256 KB Speicher)
    • Auch die Schaffung eines Puffer-manager für jeden transporter, der klingt, als würden Sie einfach bewegen Sie die heap-Fragmentierung problem an einen anderen Ort (Zuweisung von mehr Speicher und dann wieder freizusetzen). Sie hätten einen Puffer-manager-pool, aber ich würde mich mit dem singleton ersten und sehen, ob es irgendwelche Probleme mit ihm. Wahrscheinlich können Sie das design so an, dass seine versteckt sich hinter einer Schnittstelle und transporter bekommt seine eigene Referenz. Dann können Sie ganz einfach schalten Sie die Umsetzung zwischen singleton-und pro Instanz oder etwas dazwischen, wie Sie möchten.
    InformationsquelleAutor ChrisWue
  2. 4

    Wie lang sind die byte [] - array? Tun Sie fallen in das kleine Objekt oder large object heap? Wenn Sie erleben eine Fragmentierung des Speichers, ich würde sagen, Sie fallen in der LOH.

    Sollten Sie daher die Wiederverwendung der gleichen byte-arrays (verwenden Sie einen pool) oder verwenden Sie kleinere Stücke. LOH ist nie verdichtet, so kann es ziemlich fragmentiert. Leider gibt es keine Möglichkeit, um dieses. (Abgesehen von zu wissen, diese limitation zu vermeiden)

    • Ich benutze die für etwa 2-3 Stunden und 8x256 KB, Speicher-profiler sagt, es ist large object heap. Wie kann ich ein byte-array mit pool? (nützlicher link ist geschätzt)
    InformationsquelleAutor Eilistraee
  3. 3

    Den GC nicht kompakt der large object heap für Sie, können Sie immer noch programmatisch verdichten. Der folgende Codeausschnitt zeigt, wie dies erreicht werden kann.

    GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce;
GC.Collect();
    InformationsquelleAutor Ali Bayat
Schreibe einen Kommentar