Les défis des tests d'agents LLM brisent les paradigmes logiciels traditionnels

Les tests logiciels fonctionnent depuis des décennies sur un principe simple : même entrée, même sortie. Les agents LLM, systèmes autonomes reposant sur de grands modèles de langage (large language models, LLM), rompent ce contrat déterministe. Une même requête comme « résumez ce contrat » peut générer des réponses plausibles mais différentes d'un jour à l'autre, en raison de mises à jour de modèles ou de modifications de prompts. Ce problème frappe les systèmes en production, où des variations subtiles cassent les parseurs en aval sans alerter. Contrairement aux fonctions classiques, les agents ne lèvent pas d'exceptions : ils répondent toujours, de manière sémantique défaillante mais syntaxiquement valide. Les tests unitaires mockent les LLM, tandis que les tests d'intégration vérifient seulement l'achèvement des appels API, ignorant si le contenu respecte encore les attentes métier. Sans suite de régression pour la cognition, les équipes naviguent à l'aveugle. Les modes de défaillance sont insidieux : non reproductibles, impossibles à bisector via Git, et masqués par des réponses crédibles. Pour contrer cela, une approche consiste à rédiger des scénarios en YAML précisant l'entrée et 2-3 termes obligatoires dans la sortie valide. Enregistrer les sorties de base en JSON, puis comparer à chaque déploiement : bloquer si dérive excessive. Un outil open source, agentprobe, met en œuvre cette méthode prête à l'emploi sur GitHub. Les agents LLM, apparus avec l'essor des modèles comme GPT-4, étendent l'IA au-delà de la génération de texte vers des tâches complexes, amplifiant le besoin de tests fiables face à la non-déterminisme inhérent.