Mit dem abschneiden der ersten 100 MB eine Datei in linux

Beziehe ich mich auf Wie können Sie verketten zwei großen Dateien mit sehr wenig spare Speicherplatz?

Ich bin mitten in der Umsetzung der folgenden:

  1. Weisen Sie eine Datei mit geringer Dichte die kombinierte Größe.
  2. Kopieren von 100Mb am Ende der zweiten Datei an das Ende der neuen Datei.
  3. Abschneiden 100Mb der am Ende der zweiten Datei
  4. Loop 2&3 bis Sie fertig die zweite Datei (Mit 2. geändert an der richtigen Stelle in die Ziel-Datei).
  5. 2&3&4 aber mit der ersten Datei.

Ich würde gerne wissen, ob es jemanden gibt, die in der Lage sind, zu "kürzen" eine bestimmte Datei in linux? Die Kürzung ist durch die Größe der Datei, zum Beispiel, wenn die Datei 10 GB, würde ich gerne abschneiden, die ersten 100 MB die Datei und verlassen Sie die Datei mit der restlichen 9.9 GB. Wer könnte dabei helfen?

Dank

InformationsquelleAutor CheeHow | 2013-08-06
  1. 19

    Beantworten, nun, das ist die Realität mit der Linux-kernel v3.15 (ext4/xfs)

    Lesen Sie hier
    http://man7.org/linux/man-pages/man2/fallocate.2.html

    Testen von code

    #include <stdio.h>
#include <stdlib.h>
#include <string.h>
#include <stdlib.h>
#include <fcntl.h>

#ifndef FALLOC_FL_COLLAPSE_RANGE
#define FALLOC_FL_COLLAPSE_RANGE        0x08
#endif

int main(int argc, const char * argv[])
{
    int ret;
    char * page = malloc(4096);
    int fd = open("test.txt", O_CREAT | O_TRUNC | O_RDWR, 0644);

    if (fd == -1) {
        free(page);
        return (-1);
    }

    //Page A
    printf("Write page A\n");
    memset(page, 'A', 4096);
    write(fd, page, 4096);

    //Page B
    printf("Write page B\n");
    memset(page, 'B', 4096);
    write(fd, page, 4096);

    //Remove page A
    ret = fallocate(fd, FALLOC_FL_COLLAPSE_RANGE, 0, 4096);
    printf("Page A should be removed, ret = %d\n", ret);

    close(fd);
    free(page);

    return (0);
}
    • GNU_SOURCE_ muss definiert werden, bevor Sie die Aufnahme fcntl.h – zumindest auf Ubuntu 16.04. Nur dann fallocate und FALLOC_FL_COLLAPSE_RANGE erhältlich sind gnu-spezifische (experimentelle) features.
    • Super!!! aber wie verwende ich von bash ? nehmen wir an, ich will nicht kompilieren von c-code
    • In der Schale können Sie man 1 fallocate. Wie diese: fallocate -c -o offset -l length filename. Sie müssen apt install util-linux (wie von Ubuntu 18.04).
    InformationsquelleAutor Sunding Wei
  2. 7

    Abhacken der Anfang der Datei ist nicht möglich mit den meisten Datei-Systeme, und es gibt keine Allgemeine API, es zu tun; zum Beispiel die truncate-Funktion ändert lediglich die Endung einer Datei.

    Können Sie in der Lage, es zu tun mit einigen Dateisystemen, obwohl. Zum Beispiel das ext4-Dateisystem vor kurzem bekam einen ioctl, die Sie nützlich finden können: http://lwn.net/Articles/556136/

    Update: Etwa ein Jahr nach dieser Antwort wurde geschrieben, Unterstützung für entfernen Blöcke, die Sie von Anfang und Mitte der Dateien auf die ext4-und xfs-Dateisystemen wurde Hinzugefügt, um die fallocate - Funktion, durch die FALLOC_FL_COLLAPSE_RANGE - Modus. Es ist bequemer als mit den low-level-iotcl ' s sich selbst.

    Es gibt auch eine command line utility mit dem gleichen Namen wie die C-Funktion. Angenommen, Ihre Datei in einem unterstützten Dateisystem, das löscht die ersten 100MB:

    fallocate -c -o 0 -l 100MB yourfile
    • Der OP erwähnt abschneiden am Ende der Datei in der Frage Körper
    • Ja, und auch der Anfang.
    • obwohl es keine eindeutige Lösung, was in meinem Kopf, jetzt ist nur Gebrauch zu machen truncate Befehl, um manuell die Datei kürzen der Rute durch die sich die Größe der Datei subtrahieren von 100 MB. Danke für die Anregung, aber...
    InformationsquelleAutor Joni
  3. 3

    Bitte Lesen Sie ein gutes Linux-Buch über Programmierung, z.B. Advanced Linux Programming.

    Müssen Sie Linux-kernel Aufrufe, siehe syscalls(2)

    Insbesondere truncate(2) (beide abschneiden und für die Verlängerung eine sparse-Datei auf Datei-Betriebssystemen), und stat(2), um insbesondere erhalten die Größe der Datei.

    Gibt es keine (Mobil-oder Dateisystem-neutral) Methode zum entfernen von bytes vom Anfang (oder mitten in) einer Datei, können Sie abschneiden einer Datei nur an dessen Ende.

    • ja, das ist genau das, was mein problem ist. Sowieso, soweit ich weiß, truncate in linux nur abschneiden, zu einer festen Größe der Datei. zum Beispiel, wenn Sie möchten, dass Ihre Datei-Größe von 4 Kb, die Sie einfach tun truncate -s 4k filename.txt. Was ich will, ist meine Datei reduzieren Ihr entweder Kopf oder Schwanz von 100MB. Ist das erreichbar?
    InformationsquelleAutor Basile Starynkevitch
  4. 2

    Wenn Sie arbeiten mit ASCII-Zeilen und nicht Byte, dann das entfernen der ersten n Zeilen einer Datei ist einfach. Zum Beispiel zum entfernen der ersten 100 Zeilen:

    sed -i 1,100d /path/to/file
    • Linien ist unterschiedlich von der Größe.
    InformationsquelleAutor lyderic
  5. 1

    Dies ist eine ziemlich alte Frage jetzt, aber hier ist mein nehmen auf Sie. Ohne die Voraussetzung dafür zu tun, mit wenig Platz zur Verfügung haben, würde ich etwas ähnliches wie die folgende abschneiden, die ersten 100 MB Datei:

    $ tail --bytes=$(expr $(wc -c < logfile.log) - 104857600) logfile.log > logfile.log.tmp
$ mv logfile.log.tmp logfile.log

    Erklärung:

    • Dieser Ausgänge der letzten nn bytes von der Datei (tail-bytes).
    • Die Anzahl der bytes in der Datei output wird berechnet, indem die Größe der Datei (wc -c < logfile.log) minus 100 MB (expr $( ... ) - 104857600). Diese würde lassen Sie uns mit 100Mb kleiner als die Größe der Datei zu nehmen, den Schwanz (zB. 9.9 Gb)
    • Dies ist dann die Ausgabe in eine temp-Datei und dann wieder zurück auf den ursprünglichen Dateinamen zu verlassen, die abgeschnittene Datei.
    InformationsquelleAutor Willem van Ketwich
  6. -1

    entfernen Sie alle, aber die letzten 10000 Zeilen aus einer Datei

    sed-i 1,$(($(wc -l < Pfad/zu/Datei) -10000))d Pfad/zur/Datei

    • die Frage war abhängig von der Dateigröße, nicht die Menge der Zeilen
    InformationsquelleAutor William Yates
Schreibe einen Kommentar