Schnellste Technik zum Lesen einer Datei in den Speicher?

Ist es, eine allgemein akzeptierte Schnellste Technik, die verwendet wird zum Lesen einer Datei in den Speicher in c++?

Ich nur das Lesen der Datei.

Habe ich gesehen, boost haben eine Implementierung und ich habe gesehen, ein paar andere Implementierungen hier, aber ich würde gerne wissen, was als die Schnellste?

Danke im Voraus

Falls es eine Rolle spielt, ich bin am überlegen Dateien bis zu 1GB und das ist für windows.

  • Der Schnellste Weg ist zu Lesen, zusammenhängende Blöcke, deren Größe ausgerichtet ist, mit dem Puffer auf die Festplatte (z.B. 8MB, wenn Ihre Festplatte hat einen 8MB Puffer).
  • Ist es wirklich wichtig? Bist du sicher? Haben Sie profiliert Ihren code und der Beweis, dass, wie lange es dauert, die Datei zu Lesen, ist ein problem? Wenn ja, werden Sie wahrscheinlich benötigen, um mit OS-spezifische Einrichtungen, um maximale Leistung.
  • Es würde helfen wenn du sagst was genau wollen Sie mit der Datei machen.
  • möglich, Duplikat der Was ist der beste Weg, um zu schlürfen, eine Datei in einen std::string in c++?
InformationsquelleAutor mezamorphic | 2012-05-31
  1. 7

    Verwenden memory-mapped-Dateien, vielleicht mit boost-wrapper für die Portabilität.

    Wenn Sie möchten, das Lesen von Dateien, die größer als die freier, zusammenhängender Teil Ihres virtuellen Adressraums, können Sie das zugeordnete Teil der Datei auf.

    • Ich habe zu pre-kompilieren die header für die boost-library, oder ist es für Sie erledigt? Ich erinnere mich an einige der boost-Bibliotheken erfordern eine separate Zusammenstellung?
    • die Dokumentation sagt, "verwalten mapped-Dateien, die Sie gerade benötigen, um die folgenden header: #include <boost/interprocess/file_mapping.hpp>", so nehme ich an, es ist eine header-only-Bibliothek.
    • Ok, es ist definitiv ein header-only-Bibliothek, wie angegeben hier: "Es gibt keine Notwendigkeit zu kompilieren Steigern.Interprozesskommunikation, da es ein header nur die Bibliothek. Fügen Sie einfach den Boost-header-Verzeichnis in Ihrem compiler-include-Pfad."
    InformationsquelleAutor Matteo Italia
  2. 5

    Erwägen Sie die Verwendung Memory-Mapped-Dateien für Ihren Fall, wie Sie können die Dateien bis 1 GB Größe.

    Hier beginnen Sie mit der win32-API:

    Gibt es mehrere andere hilfreiche API auf der MSDN-Seite.

    • ist das nur istream? ist istream, was ich will?
    • es ist nicht istream. Über den link gehen, um zu wissen, was es ist. Wenn ich es erklären in wenigen Worten, dann wird es nicht tun Sie etwas gutes für Sie, und möglicherweise ist es unzutreffend sein könnte.
    InformationsquelleAutor Nawaz
  3. 2

    In der Veranstaltung, die memory-mapped-Dateien sind nicht ausreichend für Ihre Anwendung und Datei-I/O ist dein Flaschenhals, mit einem I/O completion port zu handhaben async I/O auf die Dateien wird am schnellsten sein, die Sie bekommen können, auf Windows.

    Abschluss-I/O-ports bieten eine effiziente threading-Modell für
    Verarbeitung mehrere asynchrone I/O-Anfragen auf einem Multiprozessor
    system. Wenn ein Prozess erstellt eine I/O completion port, das system
    erstellt eine zugehörige queue-Objekt für Aufträge, deren alleiniger Zweck es ist
    zur Abwicklung dieser Anfragen. Prozesse, die mit vielen gleichzeitigen
    asynchrone I/O-Anfragen können nicht mehr so schnell und effizient durch
    mit I/O completion ports in Verbindung mit einer vor-thread zugeordnet
    pool als durch erstellen von threads gleichzeitig erhalten Sie eine I/O-Anfrage.

    • Aber das Lesen einer einzelnen Datei nicht wirklich klingen für mich wie »viele gleichzeitige asynchrone I/O-Anfragen«.
    • Vereinbart, wenn dies eine einzelne sub-1GB-Datei ist es overkill. Ich will nicht annehmen, was OP will, basierend auf den mehrdeutigen Wortlaut der q.
    InformationsquelleAutor Steve Townsend
  4. 1

    Generell mmap es ist. Aber n Windows, die Sie erfunden haben Ihren eigenen Weg, dies zu tun, siehe "Datei Zuordnen". Boost hat Memory-Mapped-Dateien Bibliothek, umschließt beide Möglichkeiten unter einem tragbaren Haufen code.

    Auch, Sie zu optimieren für Ihren Anwendungsfall-wenn Sie möchten, schnell sein. Nur mapping-Datei mit dem Inhalt in den Speicher ist nicht genug. Es ist tatsächlich möglich, dass Sie nicht brauchen, memory-mapped-Dateien und könnte besser mit asynchronen Datei-I/O, zum Beispiel. Es gibt viele Lösungen für viele Probleme.

    InformationsquelleAutor
Schreibe einen Kommentar