die Ausbeute in der Liste Verstehens-und generator-Ausdrücke

Hinweis: dies war ein bug in der CPython Umgang mit yield im Verstehens-und generator-Ausdrücke, Feste in Python-3.8, mit einer deprecation warning in Python 3.7. Finden Sie die Python-bug-report und die Was ist Neu Einträge für Python-3.7 und Python-3.8.

Generator-Ausdrücke, und set und dict Verstehens kompiliert werden (generator) von function-Objekten. In Python 3, Liste Verstehens dieselbe Behandlung bekommen; Sie sind alle, im wesentlichen, eine neue nested scope.

Können Sie sehen, wenn Sie versuchen, zu zerlegen, ein generator-Ausdruck:

>>> dis.dis(compile("(i for i in range(3))", '', 'exec'))
  1           0 LOAD_CONST               0 (<code object <genexpr> at 0x10f7530c0, file "", line 1>)
              3 LOAD_CONST               1 ('<genexpr>')
              6 MAKE_FUNCTION            0
              9 LOAD_NAME                0 (range)
             12 LOAD_CONST               2 (3)
             15 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             18 GET_ITER
             19 CALL_FUNCTION            1 (1 positional, 0 keyword pair)
             22 POP_TOP
             23 LOAD_CONST               3 (None)
             26 RETURN_VALUE
>>> dis.dis(compile("(i for i in range(3))", '', 'exec').co_consts[0])
  1           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                11 (to 17)
              6 STORE_FAST               1 (i)
              9 LOAD_FAST                1 (i)
             12 YIELD_VALUE
             13 POP_TOP
             14 JUMP_ABSOLUTE            3
        >>   17 LOAD_CONST               0 (None)
             20 RETURN_VALUE

Oben zeigt, dass ein generator-Ausdruck wird kompiliert, um ein code-Objekt geladen, wie eine Funktion (MAKE_FUNCTION erstellt die Funktion Objekt aus der Objekt-code). Die .co_consts[0] Referenz können wir sehen, das code-Objekt erzeugt für den Ausdruck, und es verwendet YIELD_VALUE nur wie ein generator funktionieren würde.

Als solche, die yield Ausdruck in diesem Kontext, wie der compiler sieht diese als Funktionen-in-Verkleidung.

Dies ist ein Fehler; yield hat keinen Platz in diesen Ausdrücken. Die Python Grammatik vor Python 3.7 ermöglicht es (das ist, warum der code ist kompilierbar), aber die Ertrag - Ausdruck-Spezifikation zeigt, dass die Verwendung yield hier sollte eigentlich nicht funktionieren:

Die Ausbeute Ausdruck wird nur verwendet, wenn die Definition einer generator - Funktion und kann somit nur verwendet werden, im Körper einer Funktionsdefinition.

Dieser wurde bestätigt, dass ein bug in Problem 10544. Die Auflösung der Fehler ist, dass mit yield und yield from wird heben Sie ein SyntaxError in Python-3.8; in Python 3.7 es wird eine DeprecationWarning zu gewährleisten-code nicht mehr mit diesem Konstrukt. Sehen Sie die gleiche Warnung in Python 2.7.15 und wenn Sie verwenden Sie die -3 - Befehl Linie Schalter ermöglicht Python-3-Kompatibilität Warnungen.

Den 3.7.0b1 Warnung sieht wie folgt aus; drehen Warnungen in Fehler gibt Ihnen eine SyntaxError Ausnahme, wie in 3.8:

>>> [(yield i) for i in range(3)]
<stdin>:1: DeprecationWarning: 'yield' inside list comprehension
<generator object <listcomp> at 0x1092ec7c8>
>>> import warnings
>>> warnings.simplefilter('error')
>>> [(yield i) for i in range(3)]
  File "<stdin>", line 1
SyntaxError: 'yield' inside list comprehension

Die Unterschiede zwischen dem, wie yield in einer Liste Verständnis und yield in einen generator-Ausdruck arbeiten stammen aus den Unterschiede, wie diese beiden Ausdrücke implementiert sind. In Python 3 eine list comprehension verwendet LIST_APPEND Anrufe hinzufügen, die oben auf dem Stapel in die Liste gebaut wird, während ein generator-Ausdruck stattdessen ergibt diesen Wert. Hinzufügen in (yield <expr>) fügt nur ein weiteres YIELD_VALUE opcode:

>>> dis.dis(compile("[(yield i) for i in range(3)]", '', 'exec').co_consts[0])
  1           0 BUILD_LIST               0
              3 LOAD_FAST                0 (.0)
        >>    6 FOR_ITER                13 (to 22)
              9 STORE_FAST               1 (i)
             12 LOAD_FAST                1 (i)
             15 YIELD_VALUE
             16 LIST_APPEND              2
             19 JUMP_ABSOLUTE            6
        >>   22 RETURN_VALUE
>>> dis.dis(compile("((yield i) for i in range(3))", '', 'exec').co_consts[0])
  1           0 LOAD_FAST                0 (.0)
        >>    3 FOR_ITER                12 (to 18)
              6 STORE_FAST               1 (i)
              9 LOAD_FAST                1 (i)
             12 YIELD_VALUE
             13 YIELD_VALUE
             14 POP_TOP
             15 JUMP_ABSOLUTE            3
        >>   18 LOAD_CONST               0 (None)
             21 RETURN_VALUE

Den YIELD_VALUE opcode bei bytecode Indizes 15 und 12, bzw. ist extra, ein Kuckuck im nest. Also für die Liste-das Verständnis-aktiviert-generator Sie haben 1 Ertrag produzieren die Spitze des Stapels zu jeder Zeit (anstelle der oben auf dem Stapel mit den yield return-Wert), und für den generator-Ausdruck-Variante geben Sie den oben auf dem stack (integer) und dann ergeben wieder, aber jetzt ist der stack enthält den Rückgabewert der yield und Sie erhalten None das zweite mal.

Für die list-comprehension dann, den beabsichtigten list Objekt Ausgang ist noch zurückgegeben, aber Python 3 sieht dieser als generator, so ist der Rückgabewert stattdessen angebracht, um die StopIteration Ausnahme als value Attribut:

>>> from itertools import islice
>>> listgen = [(yield i) for i in range(3)]
>>> list(islice(listgen, 3))  # avoid exhausting the generator
[0, 1, 2]
>>> try:
...     next(listgen)
... except StopIteration as si:
...     print(si.value)
... 
[None, None, None]

Diese None Objekte sind die Rückgabe-Werte aus der yield Ausdrücken.

Und bekräftigt dies nochmals; das gleiche Problem gilt für Wörterbuch-und set-comprehension in Python 2 und Python 3 als auch; in Python 2 die yield Rückgabewerte sind noch Hinzugefügt die beabsichtigte Wörterbuch oder set-Objekt, und der Rückgabewert ist 'ergab' last statt befestigt, um die StopIteration Ausnahme:

>>> list({(yield k): (yield v) for k, v in {'foo': 'bar', 'spam': 'eggs'}.items()})
['bar', 'foo', 'eggs', 'spam', {None: None}]
>>> list({(yield i) for i in range(3)})
[0, 1, 2, set([None])]

InformationsquelleAutor Martijn Pieters