Iteration durch String-Wort in einer Zeit, in Python

Iteration Wort für Wort durch den Inhalt einer Datei (der Zauberer von Oz aus dem Projekt Gutenberg, in meinem Fall) drei verschiedene Möglichkeiten:

from __future__ import with_statement
import time
import re
from cStringIO import StringIO

def word_iter_std(filename):
    start = time.time()
    with open(filename) as f:
        for line in f:
            for word in line.split():
                yield word
    print 'iter_std took %0.6f seconds' % (time.time() - start)

def word_iter_re(filename):
    start = time.time()
    with open(filename) as f:
        txt = f.read()
    for word in re.finditer('\w+', txt):
        yield word
    print 'iter_re took %0.6f seconds' % (time.time() - start)

def word_iter_stringio(filename):
    start = time.time()
    with open(filename) as f:
        io = StringIO(f.read())
    for line in io:
        for word in line.split():
            yield word
    print 'iter_io took %0.6f seconds' % (time.time() - start)

woo = '/tmp/woo.txt'

for word in word_iter_std(woo): pass
for word in word_iter_re(woo): pass
for word in word_iter_stringio(woo): pass

Ergibt:

% python /tmp/junk.py
iter_std took 0.016321 seconds
iter_re took 0.028345 seconds
iter_io took 0.016230 seconds

InformationsquelleAutor Matt Anderson

Wenn die re Modul kann nicht tun Sie es schnell, du wirst es schwer haben, es zu tun alle schneller. So oder so werden Sie brauchen, um die gesamte Datei zu Lesen. Sie sollten erwägen, die Festsetzung der reguläre Ausdruck (können Sie?). Vielleicht etwas hintergrund auf, was Sie versuchen zu erreichen, auch.

InformationsquelleAutor dlamotte

Als xyld gesagt, ich glaube nicht, dass man Sie schlagen kann die Geschwindigkeit der re-Modul, obwohl es helfen würde, wenn Sie veröffentlicht Ihre regexes und eventuell den code als gut. Ich kann nur hinzufügen, versuchen profiling vor der Optimierung. Sie können ganz überrascht, wenn Sie sehen, wo die meisten der Verarbeitung geht. Ich benutze hotshot zu Profil, meinen code und bin ganz zufrieden damit. Finden Sie eine gute Einführung in python-profiling-hier http://onlamp.com/pub/a/python/2005/12/15/profiling.html.

InformationsquelleAutor Nikwin

#!/usr/bin/env python
import re

s = ''
for i in xrange(0, 100000):
    s = s + 'Hello, this is a sentence. '
    if i == 50000:
        s = s + " my phrase "

s = s + 'AARRGH'

print len(s)

itr = re.compile(r'(my phrase)|(\w+)').finditer(s)
for w in itr:
    if w.group(0) == 'AARRGH':
        print 'Found AARRGH'
    elif w.group(0) == "my phrase":
        print 'Found "my phrase"'

Läuft das, wir bekommen

$ time python itrword.py
2700017
Found "my phrase"
Found AARRGH

real    0m0.616s
user    0m0.573s
sys     0m0.033s

Aber in jedem "Satz" explizit Hinzugefügt werden, der regex wird Ihren Tribut auf die Leistung -- die oben ist 50% langsamer als nur mit "\w+", durch meine grobe Messung.

InformationsquelleAutor Kevin Little