Wie zgrep die Letzte Zeile einer gz-Datei, ohne Schwanz

Die einfachste Lösung wäre, ändern Sie Ihre log-rotation, erstellen von kleineren Dateien.

Die zweite einfachste Lösung wäre die Verwendung einer Kompressions-tool unterstützt den wahlfreien Zugriff.

Projekte wie dictzip, BGZF, und csio jedes add sync-flush Punkte in unterschiedlichen Abständen innerhalb von gzip-komprimierten Daten, die es ermöglichen, Sie zu suchen, um in einem Programm bewusst, dass zusätzliche Informationen zur Verfügung. Während es existiert in der standard-Vanille gzip nicht solche Marker entweder standardmäßig oder durch option.

Dateien komprimiert, durch diese random-access-freundliche utilities sind etwas größer (vielleicht 2-20%) aufgrund der Marker selbst, sondern voll und ganz unterstützen Dekompression mit gzip oder einem anderen Dienstprogramm, das nichts von diesen Marken.

Können Sie mehr erfahren in dieser Frage zu random access in verschiedenen Kompressions-Formate.

Es gibt auch eine "Gestrahlt Bioinformatik" blog von Peter Hahn mit mehreren posts zu diesem Thema, einschließlich:

• BGZF - Blockiert, Größer & Besser GZIP! – gzip mit random access (wie dictzip)
• Wahlfreier Zugriff auf BZIP2? – Eine Untersuchung (Ergebnis: geht nicht, obwohl ich es unten)
• Wahlfreier Zugriff auf blockierte XZ-format (BXZF) – xz verbesserte random-access-Unterstützung

Experimente mit xz

xz (ein LZMA - Kompressions-format) hat tatsächlich random-access-Unterstützung auf einer pro-block-Ebene, aber Sie werden nur einen einzigen block mit den Standardeinstellungen.

Erstellung der Datei

xz verketten können mehrere Archive zusammen, in welchem Fall jedes Archiv hat Ihren eigenen block. Die GNU split kann dies leicht tun:

split -b 50M --filter 'xz -c' big.log > big.log.sp.xz

Dieser erzählt split zu brechen big.log in 50MB Teile (vor Kompression), und führen Sie jeweils durch xz -c, die Ausgänge der komprimierten chunk auf der standard-Ausgabe. Wir sammeln Sie dann, dass die standard-Ausgabe in eine einzelne Datei namens big.log.sp.xz.

Dies zu tun, ohne GNU, brauchen Sie einen loop:

split -b 50M big.log big.log-part
for p in big.log-part*; do xz -c $p; done > big.log.sp.xz
rm big.log-part*

Analyse

Können Sie die Liste der block-offsets mit xz --verbose --list FILE.xz. Wenn Sie möchten, dass der Letzte block, müssen Sie die komprimierte Größe (Spalte 5) zuzüglich 36 bytes für den overhead (gefunden durch den Vergleich der Größe zu hd big.log.sp0.xz |grep 7zXZ). Hol-block mit tail -c und Rohr, die durch xz. Da die oben genannten Frage möchte die Letzte Zeile der Datei, die ich dann Pfeife, die durch tail -n1:

SIZE=$(xz --verbose --list big.log.sp.xz |awk 'END { print $5 + 36 }')
tail -c $SIZE big.log.sp.xz |unxz -c |tail -n1

Seite Hinweis

Version 5.1.1 wurde die Unterstützung für die --block-size Flagge:

xz --block-size=50M big.log

Aber ich habe nicht in der Lage zu extrahieren, die eine bestimmte blockieren, da es sich nicht um vollständige Header zwischen den Blöcken. Ich vermute, dass dies nicht trivial ist, zu tun, von der Befehlszeile aus.

Experimente mit gzip

gzip unterstützt auch die Verkettung. Ich (kurz) versucht, imitiert diesen Vorgang für gzip ohne Glück. gzip --verbose --list nicht genug Informationen geben, und es erscheint der Header sind zu variabel, zu finden.

Dies würde erfordern das hinzufügen sync-flush Punkte, und da Ihre Größe variiert von der Größe des letzten Puffers in der vorherigen Kompression, das ist zu schwer zu tun auf der Kommandozeile (verwenden Sie dictzip oder einem anderen der zuvor besprochenen tools).

Habe ich apt-get install dictzip und spielte mit dictzip, aber nur ein wenig. Es funktioniert nicht ohne Argumente, die Schaffung eines (massiven!) .dz Archiv, die weder dictunzip noch gunzip verstehen konnte.

Experimente mit bzip2

bzip2 hat Kopfzeilen, die wir finden können. Das ist noch ein bisschen chaotisch, aber es funktioniert.

Erstellung

Dies ist nur, wie die xz Verfahren oben:

split -b 50M --filter 'bzip2 -c' big.log > big.log.sp.bz2

Sollte ich beachten Sie, dass dies deutlich langsamer als xz (48 min für bzip2 vs 17 min für xz vs 1 min für xz -0) als auch deutlich größere (97M für bzip2 vs 25M für xz -0 vs 15M für xz), zumindest für meine test-log-Datei.

Analyse

Dies ist ein wenig schwieriger, weil wir nicht in der schönen index. Wir haben zu erraten, wohin Sie gehen, und wir haben zu irren auf der Seite Scannen zu viel, aber mit eine riesige Datei, wir würden immer noch sparen-I/O.

Meine Vermutung für diesen test wurde 50000000 (aus dem original-52428800 gesetzt, eine pessimistische denke, das ist nicht pessimistisch genug für z.B. einen H. 264-Film.)

GUESS=50000000
LAST=$(tail -c$GUESS big.log.sp.bz2 \
         |grep -abo 'BZh91AY&SY' |awk -F: 'END { print '$GUESS'-$1 }')
tail -c $LAST big.log.sp.bz2 |bunzip2 -c |tail -n1

Diese nimmt nur die letzten 50 Millionen bytes, findet die binary offset des letzten BZIP2-header, subtrahiert, die aus der guess Größe, und zieht, dass viele bytes vom Ende der Datei. Nur das Teil ist entpackt und geworfen in tail.

Werden, denn dies hat zur Abfrage der komprimierten Datei zweimal, und hat eine extra scan (die grep Aufruf sucht die header, die untersucht, das ganze erraten Platz), dies ist eine suboptimale Lösung. Siehe auch den folgenden Abschnitt über, wie langsam bzip2 wirklich ist.

Perspektive

Gegeben, wie schnell xz ist, es ist einfach das beste Wette; mit seiner schnellsten option (xz -0) ist Recht schnell zu komprimieren oder zu Dekomprimieren und erstellt eine kleinere Datei als gzip oder bzip2 auf die log-Datei, ich wurde getestet mit. Andere tests (sowie verschiedene online-Quellen) deuten darauf hin, dass xz -0 vorzuziehen ist bzip2 in allen Szenarien.

 ----- Ohne Random-Access ------- ------- Random-Access - - - - - - - - 
FORMAT /GRÖßE-VERHÄLTNIS SCHREIBEN LESEN /GRÖßE-VERHÄLTNIS SCHREIBEN SUCHEN 
--------- ----------------------------- ----------------------------- 
(original) 7211M 1.0000 - 0:06 7211M 1.0000 - 0:00 
bzip2 96M 0.0133 48:31 3:15 97M 0.0134 47:39 0:00 
gzip 79M 0.0109 0:59 0:22 
dictzip 605 0.0839 1:36 (fail) 
xz -0 25M 0.0034 1:14 0:12 25M 0.0035 1:08 0:00 
xz 14M 0.0019 16:32 0:11 14M 0.0020 16:44 0:00 

Timing-tests wurden nicht umfassend ist, habe ich nicht Durchschnitt etwas und disk-caching verwendet wurde. Noch, Sie sehen richtig, es ist eine sehr kleine Menge von overhead aus split plus starten 145 Kompression Instanzen und nicht nur eins (dies kann sogar eine Netto - gewinnen, wenn es ermöglicht eine ansonsten nicht-Multithread-Dienstprogramm zu verbrauchen mehrere threads).