Schnelle Datei kopieren mit Fortschritt

Schreibe ich eine SDL-Anwendung für Linux, die Werke aus der Konsole (kein X-server). Eine Funktion, die ich habe ist eine Datei-Kopier-Mechanismus, dass Kopien bestimmter Dateien von der Festplatte auf USB-Flash-Gerät, und zeigen den Fortschritt dieser Kopie in der Benutzeroberfläche. Um dies zu tun, ich bin mit der einfachen while-Schleife und das kopieren einer Datei von 8 kB-Blöcken zu erhalten, kopieren Sie den Fortschritt. Das problem ist, dass es langsam ist. Bekomme ich für das kopieren einer 100 MB Datei in knapp 10 Minuten, was nicht hinnehmbar ist.

Wie kann ich das implementieren schneller kopieren? Ich dachte über einige asynchrone API, würde das Lesen der Datei von der Festplatte in einen Puffer und speichert die Daten auf USB in einem separaten thread, aber ich weiß nicht, ob ich das umsetzen sollte, es selbst, weil es nicht aussieht wie eine einfache Aufgabe. Vielleicht kennen Sie einige C++ - API/Bibliothek, kann das für mich? Oder vielleicht eine andere, bessere Methode?

  • "Ich bin mit der einfachen while-Schleife und das kopieren einer Datei von 8 kB-Blöcken zu erhalten, kopieren Sie den Fortschritt." - das ist ähnlich wie standard - cp funktioniert. Sind Sie sicher, dass es nichts anderes gibt, es langsamer? Sind Sie sicher, dass Ihr USB-Laufwerk nicht sync mount-option? Linux optimiert für solche Fälle, 100 MB in 10min - Ihr problem ist nicht das OS, sondern in Ihrer eigenen Anwendung.
InformationsquelleAutor mav | 2010-10-09
  1. 4

    Nicht synchron aktualisieren der Benutzeroberfläche-mit dem copy-Fortschritt verlangsamen erheblich. Führen Sie das kopieren der Datei auf einen separaten thread aus der main-UI-thread, so dass Sie die Datei kopieren können, gehen Sie so schnell wie möglich, ohne Behinderung der Reaktionsfähigkeit der Anwendung. Dann kann die Benutzeroberfläche aktualisiert sich bei der natürlichen rate (z.B. bei der refresh-rate des Monitors).

    Sollten Sie auch ein größeren Puffer-Größe als 8 KB. Experiment etwa, aber ich denke du wirst schneller Ergebnisse mit größeren buffer-Größen (z.B. in der 64-128 KB-Bereich).

    So, es könnte in etwa so Aussehen:

    #define BUFSIZE (64*1024)

volatile off_t progress, max_progress;

void *thread_proc(void *arg)
{
    //Error checking omitted for expository purposes
    char buffer[BUFSIZE];
    int in = open("source_file", O_RDONLY);
    int out = open("destination_file", O_WRONLY | O_CREAT | O_TRUNC);

    //Get the input file size
    struct stat st;
    fstat(in, &st);

    progress = 0;
    max_progress = st.st_size;

    ssize_t bytes_read;
    while((bytes_read = read(in, buffer, BUFSIZE)) > 0)
    {
        write(out, buffer, BUFSIZE);
        progress += bytes_read;
    }

    //copy is done, or an error occurred
    close(in);
    close(out);

    return 0;
}

void start_file_copy()
{
    pthread_t t;
    pthread_create(&t, NULL, &thread_proc, 0);
}

//In your UI thread's repaint handler, use the values of progress and
//max_progress

    Beachten Sie, dass, wenn Sie senden eine Datei an einen Buchse anstelle der anderen Datei, sollten Sie stattdessen die sendfile(2) system-call, das kopiert die Datei direkt im kernel-space ohne round-trip in den user-space. Natürlich, wenn Sie das tun, können Sie nicht bekommen, irgendwelche Fortschritte zu informieren ist, so dass möglicherweise nicht immer ideal sein.

    Für Windows-Systeme, die Sie verwenden sollten CopyFileEx, die effizient und bietet Ihnen ein progress-callback-routine.

    InformationsquelleAutor Adam Rosenfield
  2. 4

    Lassen Sie das Betriebssystem die ganze Arbeit machen:

    1. Anzeigen der Datei in den Speicher: mmap, wird drastisch beschleunigen den Vorgang.
    2. Speichern Sie es auf einer Datei mit msync.
    InformationsquelleAutor Amirshk
Schreibe einen Kommentar