Effizienter Weg, um fügen Sie zwei Zeilen am Anfang eine sehr große Datei

Habe ich eine Gruppe von sehr groß (ein paar GB pro) text-Dateien. Ich muss hinzufügen von zwei Zeilen am Anfang von jeder dieser Dateien.

Ich habe versucht, mit sed mit dem folgenden Befehl

sed -i '1iFirstLine'
sed -i '2iSecondLine'

Das problem mit der sed ist, dass es eine Schleife durch die gesamte Datei, auch wenn Sie hatte, um nur zwei Zeilen am Anfang und deshalb dauert es viel Zeit.

Gibt es eine andere Möglichkeit dies zu tun, effizienter zu Lesen, ohne die gesamte Datei?

  • Haben Sie Lesen die Frage? 🙂
  • Es ist eine wunderbare Erklärung hier http://backreference.org/2011/01/29/in-place-editing-of-files/ auch die Beschreibung von möglichen Tücken des PEARL Ansatz.
  • Dein sed Befehl würde schneller sein wenn Sie nicht: sed -i -e '1iFirstLine' -e '2iSecondLine' -e '3q'.
  • dies wird nur print 3 Zeilen in der Datei. Die restlichen Zeilen werden nicht ausgedruckt.
  • Du hast Recht, mein test war fehlerhaft.
  • Aber ohne die Letzte -e3q das ist so gut wie die anderen fixes. (Die zweite Zeile sollte auch eingefügt werden, bei Zeile 1, aber.)
  • unix.stackexchange.com/questions/87772/...

InformationsquelleAutor Sudar | 2012-09-11
  1. 5

    Sollten Sie versuchen,

    echo "1iFirstLine" > newfile.txt
echo "2iSecondLine" >> newfile.txt
cat oldfile.txt >> newfile.txt
mv newfile.txt oldfile.txt
    • Ich denke, das ist langsamer als das, was ich Tue, jetzt, da es sich um das cat ' Ing der alten Ordnung und dann umbenennen. Es ist auch gehen, um erstellen Sie eine neue Datei mit der gleichen Größe.
    • Nop es ist schneller check mit der ausführbaren Datei und ein Skript, beispielsweise "time /bin/sh script1.sh"
    • Die Antwort ist so korrekt wie der eine mit perl; beide Lösungen kopieren Sie die gesamte Datei, dieses ist offensichtlich über es.
    • Sie nicht brauchen, perl..., es ist besser für embedded-Geräte 😉
    • Das umbenennen ist vernachlässigbar und das kopieren ist unvermeidlich. Abgesehen von den hässlichen temp-Datei, diese ist nicht schlechter als die anderen Lösungen.
    InformationsquelleAutor aurelihein
  2. 3

    Dieser ist perfekt gearbeitet und extrem schnell zu.

    perl -pi -e '$.=0 if eof;print "first line\nsecond line\n" if ($.==1)' *.txt
    • Wow!!!! das funktioniert und ist sehr schnell zu. Keine Notwendigkeit zu analysieren-durch die gesamte Datei oder temporäre Dateien erstellen. Ich denke, es ist Zeit, dass ich Pinsel meine perl-Kenntnisse ein bisschen. Danke.
    • Diese kopiert die gesamte Datei.
    • sind Sie falsch. Es gibt keine on-the-fly magic. Es muss erstellen Sie die temporäre Datei, die es mögen oder nicht. Und für fast - vielleicht ist es, aber machen Sie den test, um zu sehen, ob das stimmt. Einfaches voranstellen Aufruf mit time und sehen, wie lange es dauert
    • Verdammt! Kann sein, ich Sprach zu früh. Dieses perl-Befehl fügt die neuen Zeilen für jede Zeile in der Datei vorhanden 🙁
    • modifiziert den code und seine Arbeitsmethoden in Ordnung jetzt.
    • Bei großen Dateien, können Sie lassen Sie den Befehl ausführen, und führen Sie dann Strg+C sofort und in der ersten Zeile noch in die Datei geschrieben werden.

    InformationsquelleAutor Vijay
  3. 1

    Hinzufügen zu Beginn ist nicht möglich ohne die Datei neu schreiben (im Gegensatz zu Anhängen am Ende). Sie können nicht einfach die "shift" - Datei Inhalt wie kein Dateisystem unterstützt wird. Damit Sie tun sollten:

    echo -e "line 1\nLine2" > tmp.txt
cat tmp2.txt oldbigfile.txt > newbigfile.txt
rm oldbigfile.txt
mv newbigfile.txt oldbigfile.txt

    Hinweis: Sie müssen genügend Speicherplatz, um beide Dateien für eine Weile.

    • diese Lösung braucht sehr viel freien Platz auf der Festplatte seit der OP sagt die Dateien sind sehr groß.
    • Sie können vermeiden, die Notwendigkeit, vorübergehend zu speichern, werden zwei Kopien der Daten.
    • wenn Sie sagen, Sie können content - append ohne temporäre Datei (und ohne, mit benutzerdefinierten Dateisystem-und fs-bezogene tools), dann sage ich - Sie wissen nicht was Sie reden 🙂
    InformationsquelleAutor Marcin Orlowski
Schreibe einen Kommentar