Aufteilen von großen text-Datei, die durch ein Trennzeichen in Python

Ich imaging-dies ist eine einfache Aufgabe, aber ich kann nicht finden, was ich Suche, genau in der vorherigen StackOverflow-Fragen hier geht...

Ich haben Sie große text-Dateien in ein proprietry format, das Aussehen comething wie diese:

:Entry
- Name
John Doe

- Date
20/12/1979
:Entry

-Name
Jane Doe
- Date
21/12/1979

Und so weiter.

Text-Dateien in der Größe von 10kb auf 100mb. Ich muss aufteilen, diese Datei von der :Entry Trennzeichen. Wie könnte ich jede Datei basierend auf :Entry Blöcke?

  • Definieren Sie "groß".
InformationsquelleAutor Kevin | 2011-11-02
  1. 13

    Könnten Sie itertools.groupby Gruppe Linien, die auftreten, nachdem :Entry in Listen:

    import itertools as it
filename='test.dat'

with open(filename,'r') as f:
    for key,group in it.groupby(f,lambda line: line.startswith(':Entry')):
        if not key:
            group = list(group)
            print(group)

    Erträge

    ['- Name\n', 'John Doe\n', '\n', '- Date\n', '20/12/1979\n']
['\n', '-Name\n', 'Jane Doe\n', '- Date\n', '21/12/1979\n']

    Oder die Verarbeitung der Gruppen, die Sie nicht wirklich brauchen, um zu konvertieren group zu einer Liste:

    with open(filename,'r') as f:
    for key,group in it.groupby(f,lambda line: line.startswith(':Entry')):
        if not key:
            for line in group:
                ...
    InformationsquelleAutor unutbu
  2. 4

    Wenn jeder Eintrag ein block beginnt mit einem Doppelpunkt, können Sie auch einfach geteilt durch das:

    with  open('entries.txt') as fp:
    contents = fp.read()
    for entry in contents.split(':'):
        # do something with entry
    InformationsquelleAutor infrared
Schreibe einen Kommentar