Was ist der kürzeste Weg, um die Anzahl der Elemente in einem generator/iterator?

Methode, die bedeutend schneller als sum(1 for i in it) wenn die iterierbar kann lang sein (und nicht bedeutend langsamer, wenn die iterierbar ist kurz), während die Aufrechterhaltung der Feste Speicher-overhead Verhalten (im Gegensatz zu len(list(it))) zu vermeiden, tauschen Prügel und Umverteilung overhead für größere Eingänge:

# On Python 2 only, get zip that lazily generates results instead of returning list
from future_builtins import zip

from collections import deque
from itertools import count

def ilen(it):
    # Make a stateful counting iterator
    cnt = count()
    # zip it with the input iterator, then drain until input exhausted at C level
    deque(zip(it, cnt), 0) # cnt must be second zip arg to avoid advancing too far
    # Since count 0 based, the next value is the count
    return next(cnt)

Wie len(list(it)) führt es die Schleife im C-code auf CPython (dequecount und zip sind alle implementiert in C); Vermeidung von byte-code-Ausführung pro loop ist in der Regel der Schlüssel zum Erfolg in CPython.

Es ist überraschend schwer zu kommen mit einem fairen test-Fällen für den Vergleich von Leistung (list cheats mit __length_hint__ die wahrscheinlich nicht zur Verfügung stehen für beliebigen input iterables, itertools Funktionen, die nicht __length_hint__ haben oft Besondere Betriebsmodi, die Arbeit schneller als der Wert, der zurückgegeben wird auf jede Schleife wird veröffentlicht befreit, bevor der nächste Wert angefordert wird, die deque mit maxlen=0 tun wird). Der test-Fall, die ich verwendet wurde, erstellen Sie eine generator-Funktion, die dauern würde eine input-und eine C-level-generator, der fehlte besonderen itertools Rückkehr Behälter Optimierungen oder __length_hint__ mit Python 3.3 ist yield from:

def no_opt_iter(it):
    yield from it

Dann mit ipython %timeit magic (anstelle der verschiedenen Konstanten für 100):

>>> %%timeit -r5 fakeinput = (0,) * 100
... ilen(no_opt_iter(fakeinput))

Wenn die Eingabe nicht groß genug, dass len(list(it)) würde dazu führen, Speicher Probleme, auf einem Linux-Rechner mit Python 3.5 x64, meine Lösung braucht etwa 50% länger als def ilen(it): return len(list(it))unabhängig von der Eingabelänge.

Für die kleinsten der Eingänge, die setup-Kosten zu nennen deque/zip/count/next bedeutet, es nimmt mehr verschwindend, auf diese Weise als def ilen(it): sum(1 for x in it) (etwa 200 ns mehr auf meinem Rechner mit der Länge 0 Eingabe, die eine 33% ige Steigerung gegenüber der einfachen sum Ansatz), aber für mehr Eingänge, läuft es in etwa der Hälfte der Zeit pro zusätzliches element; Länge 5 Eingänge, die den Kosten entspricht, und irgendwo in der Länge 50-100 Bereich, der anfängliche Aufwand ist zu vernachlässigen im Vergleich zu der echten Arbeit; die sum Ansatz dauert etwa doppelt so lang.

Grundsätzlich, wenn Speicher verwenden, Fragen oder inputs nicht begrenzt Größe und Sie kümmern sich um die Geschwindigkeit mehr als in der Kürze, diese Lösung verwenden. Wenn die Eingänge sind begrenzt und eher klein, len(list(it)) ist wahrscheinlich am besten, und wenn Sie sind Grenzenlos, aber der Einfachheit/Bescheidenheit zählt, die Sie verwenden würden sum(1 for x in it).

InformationsquelleAutor der Antwort ShadowRanger

Ich mag die Kardinalität - Paket für diese, es ist sehr leicht, und der versucht, die schnellstmögliche Umsetzung zur Verfügung, je nach den durchsuchbar.

Verwendung:

>>> import cardinality
>>> cardinality.count([1, 2, 3])
3
>>> cardinality.count(i for i in range(500))
500
>>> def gen():
...     yield 'hello'
...     yield 'world'
>>> cardinality.count(gen())
2

InformationsquelleAutor der Antwort Erwin Mayer