Split-text-Datei in mehrere Teile, basierend auf einem Muster entnommen aus der text-Datei

Habe ich viele text-Dateien mit fester Breite Daten, z.B.:

$ head model-q-060.txt 
% x                      y                        
15.0                     0.0                      
15.026087                -1.0                     
15.052174                -2.0                     
15.07826                 -3.0                     
15.104348                -4.0                     
15.130435                -5.0                     
15.156522                -6.0                     
15.182609                -6.9999995               
15.208695                -8.0

Die Daten umfassen 3 oder 4 läuft eine simulation, die alle gespeichert sind in eine Textdatei ohne Trennzeichen zwischen den Läufen. In anderen Worten, es gibt keine Leerzeile oder irgend etwas, z.B. wenn es nur 3 'records' pro laufen, würde es so Aussehen für die 3 läuft:

$ head model-q-060.txt 
% x                      y                        
15.0                     0.0                      
15.026087                -1.0                     
15.052174                -2.0                     
15.0                     0.0                      
15.038486                -1.0                     
15.066712                -2.0                     
15.0                     0.0                      
15.041089                -1.0                     
15.087612                -2.0

Es ist eine COMSOL Multiphysics-Ausgabe-Datei für Interessierte. Optisch kann man sagen, wo die neuen Daten beginnen, als der erste x-Wert ist wiederholt (eigentlich die gesamte zweite Zeile ist die gleiche für alle von Ihnen). Also muss ich zunächst öffnen Sie die Datei und erhalten den x-Wert, speichern Sie es, dann verwenden Sie es als ein Muster, das auf mit awk oder csplit. Ich bin kämpfen, um diese Arbeit heraus!

csplit wird die Arbeit machen:

$ csplit -z -f 'temp' -b '%02d.txt' model-q-060.txt /^15\.0\\s/ {*}

aber ich habe zu wissen, das Muster nach split auf. Diese Frage ist ähnlich, aber alle meine text-Dateien wird möglicherweise ein anderes Muster zu entsprechen: Split-Dateien basierend auf Datei-Inhalt, und pattern-matching..

Ben.

Würden Sie das Objekt ein python-oder perl-basierte Lösung? Es würde nur ein paar Zeilen, die ich erwarte.
Nach diesem bin ich der Verarbeitung der Daten in python-matplotlib, python so wären auch Super!
Ist ein start der neuen laufen, das einzige mal, dass die unabhängige variable rückwärts gehen kann? Zu sein scheint, dass viel mehr robuste Detektion Methode als die Suche nach einer wiederholten Zeile.
Ben Voigt - ja, gute Beobachtung. Wie meinst du dann das?

InformationsquelleAutor a different ben | 2012-02-28

3

Hier ist ein einfaches awk-Skript, das tun, was Sie wollen:
```
BEGIN { fn=0 }
NR==1 { next }
NR==2 { delim=$1 }
$1 == delim {
    f=sprintf("test%02d.txt",fn++);
    print "Creating " f
}

{ print $0 > f }
```
1. initialisieren Ausgabe-Datei Anzahl
2. ignorieren der ersten Zeile
3. extrahieren Sie das Trennzeichen aus der zweiten Zeile
4. für jede input-Zeile, deren erste token entspricht dem Trennzeichen, richten Sie die output-Datei Namen
5. für alle Zeilen, schreiben die aktuelle Ausgabedatei
- Das ist höchst elegant, und ziemlich sauberen code zu Lesen, danke! Sorry, ich kann nicht teilen die Punkte mit Ihnen und @icyrock.com.
- +1 für Erklärungen, auch wenn ich möglicherweise eine Weile dauern, um es herauszufinden.
- In der Dritten Zeile oben hat $1 erfassen Sie die gesamte Zeile, die in delim?
- Nein, nur das erste token
- danke Jim, machte einige kleine änderungen an, einen header hinzufügen, um die Datei, und kehren Sie die Reihenfolge von Feld-Ausgang, und konvertiert zu Komma-getrennt. Sehr cool.
InformationsquelleAutor Jim Garrison

Dieser sollte den job tun - testen Sie irgendwo, die Sie nicht haben eine Menge von temp*.txt Dateien: 🙂

rm -f temp*.txt

cat > f1.txt <<EOF
% x                      y                        
15.0                     0.0                      
15.026087                -1.0                     
15.052174                -2.0                     
15.0                     0.0                      
15.038486                -1.0                     
15.066712                -2.0                     
15.0                     0.0                      
15.041089                -1.0                     
15.087612                -2.0    
EOF

first=`awk 'NR==2{print $1}' f1.txt|sed 's/\\./\\\\./'`
echo --- Splitting by: $first

csplit -z -f temp -b %02d.txt f1.txt /^"$first"\\s/ {*}

for i in temp*.txt; do
  echo ---- $i
  cat $i
done

Die Ausgabe des obigen ist:

--- Splitting by: 15\.0
51
153
153
136
---- temp00.txt
% x                      y                        
---- temp01.txt
15.0                     0.0                      
15.026087                -1.0                     
15.052174                -2.0                     
---- temp02.txt
15.0                     0.0                      
15.038486                -1.0                     
15.066712                -2.0                     
---- temp03.txt
15.0                     0.0                      
15.041089                -1.0                     
15.087612                -2.0

Natürlich, Sie laufen in Schwierigkeiten, wenn Sie haben, wiederholen zweiten Spalte Wert (15.0 im obigen Beispiel) zu lösen, das wäre ein bisschen härter - übung Links für die Leser...

Vielen Dank, gute Arbeit. Der 15.0-Wert nicht wiederholen werde, bis der neue run beginnt, jedoch 15.000000 erscheinen mag.
Danke. 15.000000 gefiltert werden, indem \\s, die Sie bereits hatten, so dass Sie sollte gut sein dort. Das einzige, was Links ist, um es auszuprobieren... 🙂
Erste mal, das ich verwendet habe, awk, etwas zu lernen, aber das scheint mir ein guter Weg, auch wenn einige es ist Auge-Bewässerung. Ich habe es ausprobiert und es funktioniert gut.

InformationsquelleAutor icyrock.com

0

Wenn die Höhe der Zeilen, die pro Durchlauf konstant ist, könnten Sie es so:
```
cat your_file.txt | grep -P "^\d" | \
   split --lines=$(expr $ $(wc -l "your_file.txt" | \
   awk '{print $1'}) - 1 $ / number_of_runs)
```
- Hervorragende seitliche denken, und es sollte funktionieren, da in jeder simulation laufen jeweils die gleiche Anzahl der 'Datensätze'. Aber ich würde noch prüfen, denn manchmal mache ich Sie mit 3 läuft, und manchmal auch mit 4, oder mehr oder weniger.
- natürlich, dann würden Sie die "number_of_runs" - variable in den code zu entsprechen
InformationsquelleAutor Blackle Mori

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.