TestNG, un autre framework de tests unitaires Java

TestNG est un framework de tests unitaires Java d'une nouvelle génération. En effet il offre la possibilité aux développeurs d'utiliser une des améliorations importantes de Java 1.5, à savoir les annotations.

C'est par ailleurs un framework très simple à mettre en œuvre et à intégrer dans des projets. En effet, TestNG assure une rétrocompatibilité avec les tests JUnit. Il propose par ailleurs un plugin permettant de l'interfacer dans le l'environnement de développement Eclipse.

Ce framework a retenu mon attention durant un comparatif pour d'autres fonctionnalités évoluées qui en font un utilitaire de tests très puissant. Il offre une flexibilité d'écriture, une organisation très ouverte des tests et des fonctionnalités très avancées comme la généralisation des tests.
C'est ainsi que ce framework a été retenu comme framework de tests unitaires pour le projet de Génie Logiciel de 3e année.

Afin de clarifier mes propos, voici un rapide aperçu des différentes fonctionnalités offertes par TestNG :

• Organisation des tests très puissante ;
• Absence de contraintes de nommage ;
• Rétrocompatibilité avec les tests JUnit ou transformation des tests JUnit en tests unitaires TestNG ;
• Attente d'Exception sur les tests ;
• Création de dépendances entre les différents tests ;
• Lancement des tests échoués uniquement ;
• Passage de paramètres aux méthodes de tests ;
• Généralisation des tests grâce à des Factory.

Pour vous montrer l'intérêt de TestNG, il semble utile de le comparer avec la référence en matière de tests unitaires Java, à savoir JUnit. Nous allons expliquer les différences entre les deux frameworks et nous verrons les intérêts des fonctionnalités citées ci-dessus.

Voici le tableau comparatif des deux frameworks :

Nous allons maintenant pouvoir expliquer les différents points évoqués dans le comparatif et voir les avantages de TestNG

Intégration à Eclipse

L'intégration dans Eclipse est totale pour chacun des frameworks. Au premier abord, on peut penser que le plugin TestNG ne fournit que peu de fonctionnalités à l'utilisateur. En effet, JUnit propose la création des squelettes des classes de tests. Ce n'est pas le cas du plugin TestNG. C'est compréhensible du fait que le framework TestNG n'impose aucune norme de nommage pour les méthodes de tests. Tout est effectué grâce aux annotations.

Support de Java 1.4 et 1.5

Le framework JUnit 3.8 ne profite d'aucune amélioration apportée par la version 1.5 de Java. Il reste le même que lors de la version 1.4. À l'opposé, TestNG utilise les possibilités de Java 1.5 via les annotations qui permettent de définir les classes de tests. TestNG peut aussi être utilisé en environnement Java 1.4 en utilisant les tags Javadoc, mais ce n'est pas l'utilisation préconisée.

Flexibilité de l'écriture des tests

Le framework TestNG est très souple en ce qui concerne l'écriture des tests. En effet la métaprogrammation fournie par les annotations permet de ne pas devoir suivre de convention de nommage. C'est un avantage indéniable sur JUnit qui impose que les méthodes de tests se nomment test***. L'utilisation des annotations permet, par ailleurs, de donner beaucoup d'informations sur le test comme son groupe d'exécution, ses dépendances…

Facilité de la mise en œuvre

Pour ce qui est de la mise en œuvre, aucun framework ne se détache réellement. En effet, dans les deux cas, nous pouvons très rapidement lancer les tests écrits, et ce, avec une facilité déconcertante.

Organisation des tests

Le framework TestNG continue son avancée dans les fonctionnalités. Il permet de regrouper les tests selon des critères propres au développeur. Pour cela, nous utilisons des groupes attribués aux différents tests. Ainsi, nous pouvons ne lancer que certains tests ou bien exclure certains groupes de l'exécution…
Le framework propose aussi d'imposer un ordre d'exécution. Cela peut permettre de s'assurer que certaines méthodes ont été effectuées avant que d'autres ne se lancent
Nous pouvons par ailleurs spécifier que les tests sont lancés de manière mono ou multithreadée afin d'éventuellement tester la concurrence d'accès à certaines ressources…

Le reporting

Dans les deux cas, nous pouvons avoir un très bon reporting de l'exécution des tests. Cela passe par l'utilisation d'un plugin extérieur tel que JUnitReports. TestNG offre aussi la possibilité d'écrire soit même son reporter.

Gestion des Exceptions Java

TestNG apporte une nouvelle fois de l'innovation dans l'écriture des tests en offrant la possibilité d'obliger un test à attendre une Exception Java. Cela permet de tester que les réactions du programme, à des événements non voulus, provoquent bien les levées d'Exception spécifiées dans le cahier des charges.

Passage de paramètres

JUnit est très limité en ce qui concerne les fonctionnalités avancées, il ne permet pas que les méthodes de tests utilisent des paramètres. TestNG offre cette possibilité et permet d'avoir un passage de paramètre statique, grâce au fichier de configuration testng.xml, ou bien de manière dynamique grâce à l'utilisation de deux annotations.

Généralisation des tests

La généralisation des tests consiste à n'écrire qu'une fois le test. Celui-ci sera ensuite instancié plusieurs fois automatiquement. C'est le comportement nommé Facotry dans les Design-Pattern. Lorsque l'on applique ce Design-Pattern à TestNG, nous obtenons une Factory de tests, permettant l'instanciation multiple et automatique d'un test avec des valeurs différentes pour les tests. Nous verrons que cela est très intéressant lorsque l'on veut tester de nombreuses informations (comme une base de données par exemple).

Compatibilité JUnit

TestNG offre des possibilités pour se rendre compatible avec le géant des tests JUnit. Il permet grâce à une information dans le fichier testng.xml, de spécifier que le test à exécuter est un test JUnit. Il existe par ailleurs, une fonctionnalité permettant de migrer les tests JUnit vers des tests TestNG. Cela permet une rétrocompatibilité totale avec JUnit.

À l'heure de l'écriture du site web, JUnit 4.0 est sorti en version officielle. Cette nouvelle version se voulait utilisatrice des fonctionnalités de Java 1.5.
Finalement qu'en est-il ? TestNG s'est-il fait rattraper par JUnit ? Est-il devenu obsolète à peine arrivé à maturité ?
Ce sont les questions auxquelles je vais essayer de répondre.

II-D-1. Les nouveautés de JUnit 4.0▲

II-D-2. JUnit 4.0 ou TestNG▲

II-D-3. Tableau récapitulatif▲