Votre test généré par l’IA passe au vert… et s’il était vert pour de mauvaises raisons?
Lors de la Soirée du Test Logiciel 2026 organisée le 15 septembre au siège de l’ETSI à Sophia-Antipolis, Mohamed Hamza, Quality Ambassador chez Salla, plateforme e-commerce, a montré, démo à l’appui, comment fiabiliser les tests générés par l’IA en traitant le prompt comme un livrable de test à part entière.
🎬 Pas de replay pour cette édition.
9 conférences : les échanges avec les speakers ne se vivent qu’en salle.
Soyez prévenu en avant-première des prochaines éditions
Le problème : des tests verts pour de mauvaises raisons
Un prompt de huit mots pour générer des tests Playwright, et le résultat compile, passe au vert, semble correct en revue. Pourtant :
- Des attentes fixes et des données en dur → des tests fragiles
- Un page object recréé alors qu’il existait déjà → une base de tests qui se duplique
- Une assertion de visibilité au lieu de la valeur attendue → le calcul n’est jamais vraiment testé
« Un test généré qui passe au vert pour de mauvaises raisons est pire que pas de test : il achète une fausse confiance, à grande échelle », prévient Mohamed Hamza. Le maillon faible, c’est le prompt : le seul artefact de la chaîne que personne ne relit, alors qu’il est réutilisé des dizaines de fois. Les défauts de code sont locaux, ceux des prompts sont systémiques.
La réponse : spécifier, générer, évaluer, rejouer
Pour lui, c’est un problème d’information, pas de formulation. Sa méthode tient en une boucle :
1️⃣ Spécifier : un contrat de prompt aux sections fixes (contexte métier, données de test, assertions, locators, garde-fous…). Les règles constantes vont dans le dépôt (AGENTS.md, instructions Copilot, skills).
2️⃣ Générer avec l’agent que l’équipe utilise déjà
3️⃣ Évaluer sur six dimensions, dont la correction : casser volontairement la fonctionnalité pour vérifier que le test passe au rouge
4️⃣ Rejouer un golden set de requêtes à chaque changement de template ou de modèle
« Dans ce contexte, le prompt engineering, c’est du context engineering. » Ses retours terrain vont dans le même sens : la structure bat la formulation, les locators sont le premier levier de précision, et les règles négatives (« pas d’attente fixe ») fonctionnent mieux que les consignes positives.
Les bénéfices concrets
✅ Des tests qui échouent quand il le faut → fini le vert trompeur
✅ Une qualité homogène dans l’équipe → le résultat ne dépend plus de qui a écrit le prompt
✅ Un indicateur simple à remonter → le taux de rework, avec une cible sous 10 % de lignes retouchées avant la pull request
Sa règle d’or : ne jamais merger un test généré qu’on n’a pas vu passer au rouge. La méthode relève le plancher, pas le plafond : la revue avant merge reste indispensable.
Découvrez la conférence
Le support de Mohamed Hamza (11 slides, en anglais) détaille les six causes d’échec des prompts, le contrat de prompt section par section, la grille d’évaluation en six dimensions, ses retours terrain et le plan d’action pour le lendemain matin. Le dépôt de démonstration est aussi en accès libre sur GitHub.
Cette conférence n’a pas été filmée : les questions de la salle et les échanges avec Mohamed Hamza au buffet ne se vivent qu’en présentiel. Pour être dans la salle la prochaine fois, inscrivez-vous à la newsletter ci dessous et recevez les dates avant tout le monde.
Téléchargez le support de présentation (PPT) pour explorer les architectures, use cases et roadmap de cette innovation QA :
Participez en personne aux prochaines éditions !
Les retours d’expérience comme celle-ci font toute la richesse des Soirées du Test Logiciel.
Mais pourquoi participer en personne ?
✅ Échanger directement avec des experts du domaine et enrichir votre réseau professionnel
✅ Découvrir des pratiques innovantes pour valoriser votre rôle au sein de votre organisation
✅ Accéder à des ressources exclusives (PPT, démos, discussions post-conférence)
✅ Profiter de conférences 100% gratuites et inspirantes
✅ Networker autour d’un buffet convivial avec les intervenants et autres participants
Ne manquez pas les prochaines éditions en rejoignant notre communauté !
Rejoignez la communauté du Test Logiciel
Suivez notre page LinkedIn si ce n’est pas déjà fait pour rester connecté à l’actualité de la qualité logicielle et ne manquer aucun événement 👉LinkedIn Soirée du Test Logiciel
📧Inscrivez-vous à notre newsletter en quelques secondes !
Ajoutez simplement votre adresse mail dans le footer tout en bas de cette page.
Ce que vous recevrez en avant-première :
- Les annonces des prochains événements (avant tout le monde !) 📅
- Les nouvelles conférences et contenus exclusifs 🎥
- Les offres et promotions réservées à notre communauté 🎁
Rejoignez une communauté de plus de 650 professionnels passionnés par la qualité logicielle, le test et l’innovation QA / IA.
