Comment puis-je répéter chaque test plusieurs fois de py.essai?

Je veux exécuter chaque py.élément d'essai, un nombre arbitraire de fois, de manière séquentielle.

Je ne vois pas de standard py.test de mécanisme pour le faire.

J'ai essayé de le faire dans le pytest_collection_modifyitems() crochet. J'ai modifié la liste des éléments transmis, pour spécifier chaque article plus d'une fois. La première exécution d'un élément de test fonctionne comme prévu, mais qui semble causer des problèmes pour mon code.

De plus, je préfère avoir un test unique élément de l'objet pour chaque exécution, comme je l'ai utiliser l'id (point) comme un élément clé dans divers rapports du code. Malheureusement, je ne trouve pas de py.le code de test pour dupliquer un élément de test, copy.copy() ne fonctionne pas, et copy.deepcopy() obtient une exception.

Quelqu'un peut-il proposer une stratégie pour l'exécution d'un test à plusieurs reprises?

InformationsquelleAutor Martin Del Vecchio | 2014-02-13

pytest python

Pour l'exécution de chaque test, un certain nombre de fois, nous allons par programme paramétrer chaque test, car les tests sont générés.

Tout d'abord, nous allons ajouter l'analyseur option (inclure les éléments suivants dans l'un de vos conftest.py's):

def pytest_addoption(parser):
    parser.addoption('--repeat', action='store',
        help='Number of times to repeat each test')

Maintenant, nous ajoutons un "pytest_generate_tests" crochet. C'est là que la magie se produit.

def pytest_generate_tests(metafunc):
    if metafunc.config.option.repeat is not None:
        count = int(metafunc.config.option.repeat)

        # We're going to duplicate these tests by parametrizing them,
        # which requires that each test has a fixture to accept the parameter.
        # We can add a new fixture like so:
        metafunc.fixturenames.append('tmp_ct')

        # Now we parametrize. This is what happens when we do e.g.,
        # @pytest.mark.parametrize('tmp_ct', range(count))
        # def test_foo(): pass
        metafunc.parametrize('tmp_ct', range(count))

En cours d'exécution sans les répéter drapeau:

(env) $ py.test test.py -vv
============================= test session starts ==============================
platform darwin -- Python 2.7.5 -- py-1.4.20 -- pytest-2.5.2 -- env/bin/python
collected 2 items 

test.py:4: test_1 PASSED
test.py:8: test_2 PASSED

=========================== 2 passed in 0.01 seconds ===========================

En cours d'exécution avec le flag repeat:

(env) $ py.test test.py -vv --repeat 3
============================= test session starts ==============================
platform darwin -- Python 2.7.5 -- py-1.4.20 -- pytest-2.5.2 -- env/bin/python
collected 6 items 

test.py:4: test_1[0] PASSED
test.py:4: test_1[1] PASSED
test.py:4: test_1[2] PASSED
test.py:8: test_2[0] PASSED
test.py:8: test_2[1] PASSED
test.py:8: test_2[2] PASSED

=========================== 6 passed in 0.01 seconds ===========================

Pour en savoir plus:

Bien que cette méthode de travail, j'ai utilisé votre suggestion de trouver un moyen plus simple, qui ne nécessite pas de paramétrées arguments, etc. Je post-it et de l'accepter comme réponse. Merci pour votre suggestion; il m'a conduit directement à ma solution.
Travailler sur un nouveau projet, donc je suis venu ici pour comprendre comment je l'avais fait précédemment. Je comprends maintenant que cette solution ne nécessite pas de moi de déclarer un appareil de paramètre pour chaque test. Donc, je suis à la sélection de cette réponse comme correcte, et je suis en utilisant votre stratégie sur mon nouveau projet. Merci!

InformationsquelleAutor Frank T

41

La pytest module pytest-répéter existe pour cela, et je vous recommande d'utiliser des modules, si possible, plutôt que de la re-mise en œuvre de leur fonctionnalité vous-même.

À l'utiliser, ajouter simplement pytest-repeat à votre requirements.txt ou pip install pytest-repeat, puis exécuter vos tests avec --count n.
- warnings.warn("Repeating unittest class tests not supported") github.com/pytest-dev/pytest-repeat/blob/...
InformationsquelleAutor jsj
36

Une stratégie possible est de paramétrer le test en question, mais pas explicitement à l'aide du paramètre.

Par exemple:
```
@pytest.mark.parametrize('execution_number', range(5))
def run_multiple_times(execution_number):
    assert True
```
Le test ci-dessus devrait fonctionner cinq fois.

Vérifier le paramétrage de la documentation: https://pytest.org/latest/parametrize.html
- Ce sera d'exécuter le test le nombre de fois spécifié dans le fichier de test. Il n'a pas à atteindre mon objectif de l'exécution d'un test d'un nombre arbitraire de fois, comme spécifié par l'option de ligne de commande.
- Mes excuses, j'ai complètement mal compris votre question. Je crois que j'ai trouvé comment faire ce que vous voulez, que je vais ajouter une autre réponse (puisque celui-ci est complètement faux :).
- Je suis content de cette réponse, c'est ici. Je pense que cela ajoute au contexte pour les futurs utilisateurs à la recherche de solutions possibles.
- Solution sympa si vous voulez "coder en dur" nombre de fois où le test doit être exécuté
- ce qui est particulièrement cool à ce sujet est la capacité à utiliser la n-à-dire nième temps {X} qui se passe. C'est juste la création d'un seul paramètre de test, donc vous pouvez l'utiliser toute seule dimension des données-source, par exemple un tableau pour faire les tests plus lisible. J'ai juste pris une série de conserves de noms et ce automatiquement interpole entre eux de sorte que vous savez qui précise l'un est défaillant.Fonctionnalité très intéressante pour tester la lisibilité
InformationsquelleAutor Frank T
7

Basé sur Frank T de la suggestion, j'ai trouvé une solution très simple dans le pytest_generate_tests() légende:
```
parser.addoption ('--count', default=1, type='int', metavar='count', help='Run each test the specified number of times')

def pytest_generate_tests (metafunc):
    for i in range (metafunc.config.option.count):
        metafunc.addcall()
```
Maintenant l'exécution de "py.test, qui compte 5" les causes de chaque test pour être exécuté cinq fois dans la session de test.

Et il ne nécessite aucune modification à l'un de nos tests existants.

Merci Frank T!
- metafunc.addcall() est obsolète, c'est pourquoi j'ai préféré .paramétrer() dans mon application. Voir aussi: pytest.org/latest/...
- Votre solution m'a obligé à ajouter un paramètre/funcarg à chacun de mes de 1 000 tests existants, que je n'ai pas envie de faire. Il y a probablement un .paramétrer() équivalent à ma solution simple, mais je ne pouvais pas le comprendre.
- Travailler sur un nouveau projet, donc je suis venu ici pour comprendre comment je l'avais fait précédemment. Je comprends maintenant que votre solution ne nécessite pas de moi de déclarer un appareil de paramètre pour chaque test. Donc, je suis à la sélection de l'original de votre réponse comme correcte, et je suis en utilisant votre stratégie sur mon nouveau projet. Merci!
InformationsquelleAutor Martin Del Vecchio

Basé sur ce que j'ai vu ici, et étant donné que je fais déjà de filtrage de tests dans pytest_collection_modifyitems, ma méthode de choix est la suivante. Dans conftest.py

def pytest_addoption(parser):
    parser.addoption ('--count', default=1, type='int', metavar='count', help='Run each test the specified number of times')


def pytest_collection_modifyitems(session, config, items):
    count = config.option.count
    items[:] = items * count  # add each test multiple times

InformationsquelleAutor user7610

Vous devez vous connecter pour publier un commentaire.