Comment assurez-vous TestNG pistes de méthodes sur les classes de test dans la succession au lieu de entrelacés?

Même en mode séquentiel TestNG pourrait intercaler les méthodes d'essai à partir de la même suite. Il ne garantit la séquence @BeforeClass -> @Test -> @AfterClass mais il peut faire quelque chose comme:

before class1
    test class1.method1
before class2
    test class2.method1
    test class1.method2
after class1
    test class2.method2
after class2

La solution est de forcer chaque classe dans une autre suite (qui sont exécutés vraiment de manière séquentielle). À partir de la version 2.16, le maven plugin surefire met chaque classe dans une suite séparée de sorte que le problème est résolu.

D'autre part, l'IDÉE (même les derniers 13 PAE) génère un fichier xml avec toutes les classes dans la même suite. Espérons que l'IDÉE sera de suivre et de corriger cela aussi. Interleaved tests sont un obstacle de taille lorsque l'on travaille avec des ressources communes, telles que des bases de données.

TestNG propose plusieurs stratégies parallèles. Il ressemble à methods est trop agressif pour vos besoins, mais avez-vous regardé classes ou peut-être instances?

Utilisation méthode d'intercepteurs (=écrire et de permettre un personnalisé) à la commande.

Aussi, chaque classe peut utiliser sa propre base de données sandbox: emballage de chaque classe de test dans une transaction pourrait éventuellement vous aider.

Avoir individuelle suffixe pour les tableaux/db mis en place pour chaque catégorie serait même laissez vos méthodes de test s'exécuter en parallèle (je suppose que les deux premières options ne seraient pas).

Nous avons été en cours d'exécution dans ce même numéro, la plupart des gens disent que c'est causé par l'utilisation de dependsOn, mais notre solution était tout simplement de la définition des priorités à un test de niveau pour certains de nos tests. J'ai mis en place un Test Auditeur à re-donner la priorité à nos tests afin qu'ils s'exécutent dans l'ordre correct. Ceci est basé sur saberduck une solution de
https://github.com/cbeust/testng/issues/106

Cette solution permettra de conserver la priorité de test en ajoutant à la classe de priorité.

package testng_Listeners;
import java.lang.reflect.Constructor;
import java.lang.reflect.Method;
import java.util.HashMap;
import org.testng.IAnnotationTransformer;
import org.testng.Reporter;
import org.testng.annotations.ITestAnnotation;

//Listener to fix TestNG Interleaving issue. I had to re-write this as the original example I had did not allow for priority to be manually set on a test level.
public class RePrioritizingListener implements IAnnotationTransformer {

HashMap<Object, Integer> priorityMap = new HashMap<Object, Integer>();
Integer class_priorityCounter = 10000;
//The length of the final priority assigned to each method.
Integer max_testpriorityLength = 4;

@Override
public void transform(ITestAnnotation annotation, Class testClass, Constructor testConstructor, Method testMethod) {


//class of the test method.
Class<?> declaringClass = testMethod.getDeclaringClass();
//Current priority of the test assigned at the test method.
Integer test_priority = annotation.getPriority();
//Current class priority.
Integer current_ClassPriority = priorityMap.get(declaringClass);

if (current_ClassPriority == null) {
    current_ClassPriority = class_priorityCounter++;
    priorityMap.put(declaringClass, current_ClassPriority);
}

String concatenatedPriority = test_priority.toString();

//Adds 0's to start of this number.
while (concatenatedPriority.length() < max_testpriorityLength) {
    concatenatedPriority = "0" + concatenatedPriority;
}

//Concatenates our class counter to the test level priority (example
//for test with a priority of 1: 1000100001; same test class with a
//priority of 2: 1000100002; next class with a priority of 1. 1000200001)
concatenatedPriority = current_ClassPriority.toString() + concatenatedPriority;

//Sets the new priority to the test method.
annotation.setPriority(Integer.parseInt(concatenatedPriority));

String printText = testMethod.getName() + " Priority = " + concatenatedPriority;
Reporter.log(printText);
System.out.println(printText);

}
}

Aussi, vous aurez besoin d'ajouter l'écouteur à votre testng.xml

<suite name="Suite" configfailurepolicy="continue" >
<listeners>
<listener class-name="testng_Listeners.RePrioritizingListener"></listener>
</listeners>