Wie kann ich die wiederholen jeden test mehrfach in py.test ausführen?

Möchte ich laufen jeden ausgewählten py.testen Sie Element eine beliebige Anzahl Male nacheinander.

Ich sehe keine standard-py.test-Mechanismus, dies zu tun.

Ich versuchte dies in der pytest_collection_modifyitems() Haken. Ich veränderte die Liste der Elemente, die übergeben, um geben Sie jedes Element mehr als einmal. Die erste Ausführung eines test-Element funktioniert wie erwartet, aber das scheint einige Probleme verursachen, für meinen code.

Weiter, ich würde es vorziehen, einen einzigartigen test-item-Objekt für jeden Lauf, als ich mit id (item), die als Schlüssel in verschiedenen reporting-code. Leider kann ich keine py.test-code zu duplizieren eines test item copy.copy() funktioniert nicht, und copy.deepcopy() bekommt eine Ausnahme.

Kann jemand empfehlen, eine Strategie für die Ausführung einer test mehrmals?

InformationsquelleAutor Martin Del Vecchio | 2014-02-13

pytest python

Um jeden test eine Anzahl von Zeiten, wir werden programmgesteuert parametrisieren jeder testen, wie die tests generiert werden.

Erste, lassen Sie 's fügen Sie den parser option (geben Sie den folgenden in einer Ihrer conftest.py's):

def pytest_addoption(parser):
    parser.addoption('--repeat', action='store',
        help='Number of times to repeat each test')

Fügen wir nun einen "pytest_generate_tests" Haken. Hier ist, wo die Magie passiert.

def pytest_generate_tests(metafunc):
    if metafunc.config.option.repeat is not None:
        count = int(metafunc.config.option.repeat)

        # We're going to duplicate these tests by parametrizing them,
        # which requires that each test has a fixture to accept the parameter.
        # We can add a new fixture like so:
        metafunc.fixturenames.append('tmp_ct')

        # Now we parametrize. This is what happens when we do e.g.,
        # @pytest.mark.parametrize('tmp_ct', range(count))
        # def test_foo(): pass
        metafunc.parametrize('tmp_ct', range(count))

Laufen ohne das repeat-flag:

(env) $ py.test test.py -vv
============================= test session starts ==============================
platform darwin -- Python 2.7.5 -- py-1.4.20 -- pytest-2.5.2 -- env/bin/python
collected 2 items 

test.py:4: test_1 PASSED
test.py:8: test_2 PASSED

=========================== 2 passed in 0.01 seconds ===========================

Läuft mit der repeat-flag:

(env) $ py.test test.py -vv --repeat 3
============================= test session starts ==============================
platform darwin -- Python 2.7.5 -- py-1.4.20 -- pytest-2.5.2 -- env/bin/python
collected 6 items 

test.py:4: test_1[0] PASSED
test.py:4: test_1[1] PASSED
test.py:4: test_1[2] PASSED
test.py:8: test_2[0] PASSED
test.py:8: test_2[1] PASSED
test.py:8: test_2[2] PASSED

=========================== 6 passed in 0.01 seconds ===========================

Weiter Lesen:

Während diese Methode kann funktionieren, ich habe Ihre Anregung zu finden, einen einfacheren Weg, man braucht keine Argumente parametrisiert, etc. Ich poste es und akzeptieren es als Antwort. Vielen Dank für Ihren Vorschlag; es führte mich direkt zu meiner Lösung.
Arbeiten an einem neuen Projekt, und so kam ich hier, um herauszufinden, wie ich das getan hatte zuvor. Ich verstehe jetzt, dass diese Lösung nicht von mir verlangen, zu erklären, fixture parameter zu jedem test. Also ich bin der Auswahl, diese Antwort als richtig, und ich bin mit Ihrer Strategie auf mein neues Projekt. Danke!

InformationsquelleAutor Frank T

37

Den pytest Modul pytest-wiederholen existiert für diesen Zweck, und ich empfehle die Verwendung von Modulen, wenn möglich, eher als eine re-Implementierung Ihrer Funktionalität selbst.

Es zu verwenden, fügen Sie einfach pytest-repeat zu Ihrem requirements.txt oder pip install pytest-repeat, dann führen Sie Ihre tests mit --count n.
- warnings.warn("Repeating unittest class tests not supported") github.com/pytest-dev/pytest-repeat/blob/...
InformationsquelleAutor jsj
32

Eine mögliche Strategie ist die Parametrisierung der test in Frage, aber nicht explizit mit dem parameter.

Beispiel:
```
@pytest.mark.parametrize('execution_number', range(5))
def run_multiple_times(execution_number):
    assert True
```
Den oben genannten test fünf mal.

Check-out der Parametrierung-Dokumentation: https://pytest.org/latest/parametrize.html
- Dies wird führen Sie den test durch die Anzahl der angegebenen Zeiten in der test-Datei. Es nicht mein Ziel erreichen der Ausführung ein test einer beliebigen Anzahl von Zeiten, wie angegeben durch eine Kommandozeilen-option.
- Ich entschuldige mich, dass ich deine Frage völlig missverstanden. Ich glaube, ich habe herausgefunden, wie das zu tun, was Sie wollen, die werde ich hinzufügen einer anderen Antwort (da dieser komplett falsch ist :).
- Ich bin froh, diese Antwort ist hier. Ich denke, es fügt dem Rahmen für die künftigen Nutzer auf der Suche nach möglichen Lösungen.
- Schöne Lösung, wenn man zu "fest" Anzahl test ausgeführt werden soll
- was ist besonders Coole daran ist die Fähigkeit, n zu sagen, das N-te mal {X} passiert. Dies ist nur die Erstellung eines einzelnen Parameters zu testen, obwohl, so können Sie alle eindimensionalen Daten-Quelle wie beispielsweise ein array, um die tests besser lesbar. Ich habe gerade eine Reihe von Konserven Namen, und diese automatisch interpoliert Sie, so dass Sie wissen, welche präziser ist, zu scheitern.Sehr nettes feature zum testen der Lesbarkeit
InformationsquelleAutor Frank T
7

Basierend auf Frank T ' s Vorschlag fand ich eine sehr einfache Lösung in der pytest_generate_tests() Legende:
```
parser.addoption ('--count', default=1, type='int', metavar='count', help='Run each test the specified number of times')

def pytest_generate_tests (metafunc):
    for i in range (metafunc.config.option.count):
        metafunc.addcall()
```
Nun ausführen von "py.test --count 5" bewirkt, dass jeder test ausgeführt werden fünf mal in der test-Sitzung.

Und es erfordert keine änderungen an bestehenden tests.

Dank Frank T!
- metafunc.addcall() ist veraltet, das ist der Grund, warum ich bevorzugt .einstellen() in meiner Implementierung. Siehe auch: pytest.org/latest/...
- Ihre Lösung musste ich einen parameter hinzufügen/funcarg zu jedem meiner 1,000 vorhandenen tests, die ich nicht tun wollte. Es wird wahrscheinlich eine .einstellen() entspricht meine einfache Lösung, aber ich konnte nicht es herausfinden.
- Arbeiten an einem neuen Projekt, und so kam ich hier, um herauszufinden, wie ich das getan hatte zuvor. Ich verstehe jetzt, dass Ihre Lösung nicht von mir verlangen, zu erklären, fixture parameter zu jedem test. Also ich bin der Auswahl Ihrer original-Antwort als richtig, und ich bin mit Ihrer Strategie auf mein neues Projekt. Danke!
InformationsquelleAutor Martin Del Vecchio

Basierend auf dem, was ich hier gesehen, und da ich schon einige filtern von tests in pytest_collection_modifyitems meine Methode der Wahl ist die folgende. In conftest.py

def pytest_addoption(parser):
    parser.addoption ('--count', default=1, type='int', metavar='count', help='Run each test the specified number of times')


def pytest_collection_modifyitems(session, config, items):
    count = config.option.count
    items[:] = items * count  # add each test multiple times

InformationsquelleAutor user7610

Schreibe einen Kommentar

Du musst angemeldet sein, um einen Kommentar abzugeben.