python von Kopf, Schwanz und rückwärts Lesen, durch die Zeilen einer text-Datei

Wie die Umsetzung somethig wie der 'Kopf' und 'Schwanz' Befehle in python-und rückwärts Lesen, durch die Zeilen einer text-Datei?

InformationsquelleAutor user739650 | 2011-05-05
  1. 24

    Dies ist meine persönliche file-Klasse 😉

    class File(file):
    """ An helper class for file reading  """

    def __init__(self, *args, **kwargs):
        super(File, self).__init__(*args, **kwargs)
        self.BLOCKSIZE = 4096

    def head(self, lines_2find=1):
        self.seek(0)                            #Rewind file
        return [super(File, self).next() for x in xrange(lines_2find)]

    def tail(self, lines_2find=1):  
        self.seek(0, 2)                         #Go to end of file
        bytes_in_file = self.tell()
        lines_found, total_bytes_scanned = 0, 0
        while (lines_2find + 1 > lines_found and
               bytes_in_file > total_bytes_scanned): 
            byte_block = min(
                self.BLOCKSIZE,
                bytes_in_file - total_bytes_scanned)
            self.seek( -(byte_block + total_bytes_scanned), 2)
            total_bytes_scanned += byte_block
            lines_found += self.read(self.BLOCKSIZE).count('\n')
        self.seek(-total_bytes_scanned, 2)
        line_list = list(self.readlines())
        return line_list[-lines_2find:]

    def backward(self):
        self.seek(0, 2)                         #Go to end of file
        blocksize = self.BLOCKSIZE
        last_row = ''
        while self.tell() != 0:
            try:
                self.seek(-blocksize, 1)
            except IOError:
                blocksize = self.tell()
                self.seek(-blocksize, 1)
            block = self.read(blocksize)
            self.seek(-blocksize, 1)
            rows = block.split('\n')
            rows[-1] = rows[-1] + last_row
            while rows:
                last_row = rows.pop(-1)
                if rows and last_row:
                    yield last_row
        yield last_row

    Beispiel:

    with File('file.name') as f:
    print f.head(5)
    print f.tail(5)
    for row in f.backward():
        print row
    • Hat jemand eine Python-3-version von diesem? Ich bin immer: NameError: name 'file' ist nicht definiert
    InformationsquelleAutor fdb
  2. 4

    head ist einfach:

    from itertools import islice
with open("file") as f:
    for line in islice(f, n):
        print line

    tail ist schwieriger, wenn Sie nicht wollen, zu halten, die ganze Datei im Speicher. Wenn die Eingabe eine Datei, könnte man anfangen zu Lesen-Blöcke, beginnend am Ende der Datei. Die original tail funktioniert auch, wenn der Eingang ist ein Rohr, so eine Allgemeine Lösung ist, um zu Lesen und verwerfen Sie die gesamte Eingabe, bis auf die letzten paar Zeilen. Eine einfache Möglichkeit, dies zu tun ist collections.deque:

    from collections import deque
with open("file") as f:
    for line in deque(f, maxlen=n):
        print line

    In diesen beiden code-snippets n ist die Anzahl der Zeilen zu drucken.

    • sehr elegant, aber Schwanz mit deque mit riesigen log-Dateien (Hunderte von MB) zu langsam ist
    InformationsquelleAutor Sven Marnach
  3. 0

    Schwanz:

    def tail(fname, lines):
    """Read last N lines from file fname."""
    f = open(fname, 'r')
    BUFSIZ = 1024
    f.seek(0, os.SEEK_END)
    fsize = f.tell()
    block = -1
    data = ""
    exit = False
    while not exit:
        step = (block * BUFSIZ)
        if abs(step) >= fsize:
            f.seek(0)
            exit = True
        else:
            f.seek(step, os.SEEK_END)
        data = f.read().strip()
        if data.count('\n') >= lines:
            break
        else:
            block -= 1
    return data.splitlines()[-lines:]
    InformationsquelleAutor Giampaolo Rodolà
Schreibe einen Kommentar