Lesen einer Datei schneller in C

Sie fast nicht verarbeiten, so wohl der Flaschenhals ist die Datei-system-Durchsatz. Allerdings sollten Sie Messen zuerst, ob es wirklich ist. Wenn Sie nicht wollen, um einen profiler verwenden, können Sie einfach Messen Sie die Laufzeit Ihrer Anwendung. Die Größe von input-file dividiert durch die Laufzeit kann verwendet werden, um zu überprüfen, ob Sie erreicht haben, die Datei system Durchsatz zu begrenzen.

Dann, wenn Sie weit Weg von der oben genannten Grenze, die Sie wahrscheinlich benötigen, um die Art und Weise optimieren Sie die Datei Lesen. Es kann besser sein, es zu Lesen in größeren Blöcken mit fread() und dann den Puffer im Speicher abgelegt, mit sscanf().

Können Sie auch analysieren, die Puffer selbst, die wäre schneller als *scanf().

[Bearbeiten]

Besonders für Drakoscha:

$ time ./main1
Good entries: 10000000

real    0m3.732s
user    0m3.531s
sys 0m0.109s
$ time ./main2
Good entries: 10000000

real    0m0.605s
user    0m0.496s
sys 0m0.094s

Also die optimierte version macht ~127MB/s, was kann mein Datei-system-Engpass oder vielleicht OS speichert die Datei im RAM. Die ursprüngliche version ist ~20 MB/s.

Getestet mit einer 80 MB Datei:

10000000

1234 a

1234 a
...

main1.c

#include <stdio.h>

int ok = 0;
void processEntry(int a, char c) {
    if (a == 1234 && c == 'a') {
        ++ok;
    }
}

int main(int argc, char **argv) {
    FILE *f = fopen("data.txt", "r");
    int total = 0;
    int a;
    char c;
    int i = 0;

    fscanf(f, "%d", &total);
    for (i = 0; i < total; ++i) {
        if (2 != fscanf(f, "%d %c", &a, &c)) {
            fclose(f);
            return 1;
        }
        processEntry(a, c);
    }
    fclose(f);
    printf("Good entries: %d\n", ok);
    return (ok == total) ? 0 : 1;
}

main2.c

#include <stdio.h>
#include <stdlib.h>

int ok = 0;
void processEntry(int a, char c) {
    if (a == 1234 && c == 'a') {
        ++ok;
    }
}

int main(int argc, char **argv) {
    FILE *f = fopen("data.txt", "r");
    int total = 0;
    int a;
    char c;
    int i = 0;
    char *numberPtr = NULL;
    char buf[2048];
    size_t toProcess = sizeof(buf);
    int state = 0;
    int fileLength, lengthLeft;

    fseek(f, 0, SEEK_END);
    fileLength = ftell(f);
    fseek(f, 0, SEEK_SET);

    fscanf(f, "%d", &total);  //read the first line

    lengthLeft = fileLength - ftell(f);

    //read other lines using FSM
    do {
        if (lengthLeft < sizeof(buf)) {
            fread(buf, lengthLeft, 1, f);
            toProcess = lengthLeft;
        } else {
            fread(buf, sizeof(buf), 1, f);
            toProcess = sizeof(buf);
        }
        lengthLeft -= toProcess;
        for (i = 0; i < toProcess; ++i) {
            switch (state) {
                case 0:
                    if (isdigit(buf[i])) {
                        state = 1;
                        a = buf[i] - '0';
                    }
                    break;
                case 1:
                    if (isdigit(buf[i])) {
                        a = a * 10 + buf[i] - '0';
                    } else {
                        state = 2;
                    }
                    break;
                case 2:
                    if (isalpha(buf[i])) {
                        state = 0;
                        c = buf[i];
                        processEntry(a, c);
                    }
                    break;
            }
        }
    } while (toProcess == sizeof(buf));

    fclose(f);
    printf("Good entries: %d\n", ok);
    return (ok == total) ? 0 : 1;
}

Wie üblich, beginnen Sie mit profiling zu machen, dass dieses Teil ist in der Tat ein Engpass. Tatsächlich, Dateisystem-cache sollte der kleine liest, dass Sie tun nicht sehr teuer, aber beim Lesen größerer Teile der Datei in den Speicher und dann den Betrieb auf den Speicher vielleicht (ein wenig) schneller.
Im Fall (was ich glaube, ist extrem unwahrscheinlich) ist, dass Sie brauchen, um zu sparen jedes CPU-Zyklus, den Sie schreiben, Ihre eigenen fscanf Variante, da Sie wissen, das format der Zeichenfolge und Sie müssen nur die Unterstützung von nur einer Variante. Aber diese Verbesserung würde bringen niedrige Gewinne, aber insbesondere auch auf modernen CPUs.

Den Eingang sieht aus wie in verschiedenen Programmier-Wettbewerbe. In diesem Fall optimiert der Algorithmus, nicht das Lesen.

Nicht viel Hoffnung zu Lesen Datei schneller, da es ein system Anruf. Aber es gibt viele Möglichkeiten, um zu analysieren, ist es schneller als scanf mit spezialisierten code.