Speicher-stream out of memory-Ausnahme, wenn die Dateigröße greter als 4 gb

Ich habe ein problem mit Speicher-stream. Ich bin immer eine Ausnahme von out-of-memory-Ausnahme. Wie Sie damit umgehen können.

var file = VC.ReadStream(filename, true);
var memoryStream = new MemoryStream();
file.CopyTo(memoryStream);
var fileContentBytes = memoryStream.ToArray();
memoryStream = null;
LogUtil.Log(LogUtil.LogType.INFO, String.Format("File size: {0} bytes", fileContentBytes.Length));
var enc = new UTF8Encoding();
var filecontent = enc.GetString(fileContentBytes);
  • 32-bit-oder 32-bit-Programm? Sie wissen, dass es eine harte Grenze an Arbeitsspeicher für die 32-bit-Programme? Haben Sie sah in der Vermeidung von memory-stream und über ein MMF (Memory Mapped File)?
InformationsquelleAutor Prashant Kumar | 2014-03-18
  1. 3

    Ersten, die Größe der String ist beschränkt auf 2Gb, und das ist, warum

      var filecontent = enc.GetString(fileContentBytes);

    werden OutOfMemory Ausnahme. Weiter, hast du einen Riesen overhead an

      var fileContentBytes = memoryStream.ToArray();

    Da beide memoryStream und fileContentBytes array sind über 4 Gb
    Sie sind 8 Gb insgesamt. Noch ein weiteres Problem: bei der Arbeit mit IDisposable
    Sie sollen entsorgen Instanzen:

      using (var memoryStream = new MemoryStream()) {
    file.CopyTo(memoryStream);
    var fileContentBytes = memoryStream.ToArray();
    ...
  }

    Wenn Ihre Aufgabe ist, um den Datei Größe in ein log brauchen Sie nicht die Datei zu Lesen, an alle:

      long length = new System.IO.FileInfo(filename).Length;
  LogUtil.Log(LogUtil.LogType.INFO, String.Format("File size: {0} bytes", length));

    Beim arbeiten mit Datei-Inhalte verwenden FileStream Klasse statt MemoryStream da es funktioniert mit Speicher-chunks (Kbs in der Größe, in der Regel 4 oder 8 Kb)

    InformationsquelleAutor Dmitry Bychenko
  2. 0

    Lesen eine so große Datei auf einmal im Speicher ist nicht so Gottes Idee. Da dies eine text-Datei sollten Sie es Lesen und verarbeiten, Zeile für Zeile, mit FileStream.ReadLine(). Wenn es ein bynary-Datei, finden Sie einige der chunking-Strategie. Wenn Sie wirklich nicht tun können, so versuchen Sie, mit einigen Speicher-Mapping-Technik.

    InformationsquelleAutor Felice Pollano
  3. 0

    Ich kann auch beraten Sie, um Ihnen die StreamReader.ReadLineAsync() Methode.

    InformationsquelleAutor
Schreibe einen Kommentar