Évaluer un agent IA avant la production : tâches, évaluateurs et gate de régression

Un agent IA s'évalue sur son résultat, sur plusieurs essais, avec des évaluateurs combinés. Un gate de régression bloque les reculs avant la production.

Note de transparence. Cet article est rédigé conformément à la politique éditoriale d'IgnitionAI. Il s'appuie sur une publication d'ingénierie d'Anthropic, la documentation de LangSmith, l'OWASP et un article de recherche sur les juges LLM, consultés le 29 octobre 2026. L'exemple de gate de régression vient d'Ignition Agent Trainer, un projet open source publié par IgnitionAI, en alpha, sans résultat chiffré publié. L'article ne contient ni statistique de marché ni estimation chiffrée. Voir la section Méthodologie et sources en fin d'article. Salim Laimeche est co-auteur, avec Glaucia Lemos, du livre Packt Building Agentic AI Apps with Next.js and TypeScript, à paraître en décembre 2026 (fiche Packt).

Évaluer un agent IA, c'est vérifier ce qu'il a produit, et non relire ce qu'il a dit. Un agent qui annonce « votre réservation est faite » a réussi seulement si la réservation existe. Comme ses réponses varient d'une exécution à l'autre, chaque tâche se rejoue plusieurs fois. Et comme chaque modification du prompt, du modèle ou des outils peut casser ce qui marchait, une suite de régression doit bloquer la mise en production quand le score baisse, quand la latence monte ou quand le coût dérive.

En bref

  • Définissez des tâches sans ambiguïté, chacune avec un critère de réussite vérifiable sur le résultat final.
  • Rejouez chaque tâche plusieurs fois : un agent n'a pas un taux de réussite, il en a un par tâche.
  • Combinez des évaluateurs par code, par modèle et humains, et calibrez les juges LLM sur des notes humaines.
  • Testez aussi ce que l'agent ne doit pas faire, en particulier les actions sensibles.
  • Séparez une suite de capacité, qui mesure le progrès, et une suite de régression, qui bloque les reculs dans la chaîne d'intégration.

Cet article s'adresse aux équipes qui ont un agent en prototype et doivent décider de son passage en production, ou d'un changement de modèle. Pour l'évaluation d'un RAG documentaire, consultez notre guide sur l'évaluation d'un RAG en production.

Pourquoi un agent est plus difficile à évaluer qu'un chatbot

Un chatbot reçoit une question et rend une réponse. Un agent enchaîne des appels d'outils, modifie l'état d'un système et s'adapte aux résultats intermédiaires. Anthropic le résume ainsi dans sa publication de janvier 2026 sur l'évaluation des agents : les agents opèrent sur de nombreux tours, et leurs erreurs peuvent se propager et s'accumuler.

Deux conséquences pratiques en découlent.

Le texte final ne suffit pas. Anthropic distingue la transcription (la trace complète d'un essai : sorties, appels d'outils, raisonnement, résultats intermédiaires) et le résultat (l'état final de l'environnement). Pour un agent de réservation, le résultat est l'existence de la réservation dans la base, pas la phrase qui l'annonce.

Une seule exécution ne prouve rien. Les sorties varient d'une exécution à l'autre. Anthropic propose deux mesures. Le pass@k est la probabilité d'au moins un succès en k essais. Le pass^k est la probabilité que les k essais réussissent tous. Avec 75 % de réussite par essai et 3 essais, le pass^3 tombe à environ 42 %. Pour un agent face à des clients, c'est souvent le pass^k qui compte : l'utilisateur attend le même bon comportement à chaque fois.

Le vocabulaire minimal

TermeDéfinitionSource
TâcheUn test avec des entrées définies et des critères de réussiteAnthropic
Essai (trial)Une tentative sur une tâche ; on en lance plusieursAnthropic
Évaluateur (grader)La logique qui note un aspect de la performanceAnthropic
Transcription, traceL'enregistrement complet d'un essaiAnthropic
Résultat (outcome)L'état final de l'environnement à la fin de l'essaiAnthropic
Dataset, exempleUne collection de couples entrée / sortie de référenceLangSmith
ExpérienceLes résultats d'une version de l'application sur un datasetLangSmith

Sources : Anthropic, « Demystifying evals for AI agents », 9 janvier 2026 ; LangSmith, « Evaluation concepts ». Consultés le 29 octobre 2026.

LangSmith ajoute une distinction utile. L'évaluation hors ligne tourne avant le déploiement sur des exemples qui ont une sortie de référence : elle sert au benchmark et aux tests de régression. L'évaluation en ligne tourne sur le trafic réel, sans référence : elle sert à surveiller. Les deux se nourrissent : un problème vu en production devient un nouvel exemple hors ligne.

Trois familles d'évaluateurs, à combiner

ÉvaluateurExemplesForcesFaiblesses
Par codeCorrespondance de texte, tests unitaires, vérification d'état, vérification des appels d'outilsRapide, peu coûteux, reproductibleFragile face à une variante valide, peu nuancé
Par modèle (juge LLM)Grille de notation, comparaison par paires, comparaison à une référenceSouple, gère les réponses ouvertesNon déterministe, plus coûteux, à calibrer sur des notes humaines
HumainRevue par un expert métier, échantillonnageQualité de référenceLent et coûteux

Source : Anthropic, « Demystifying evals for AI agents », section « Types of graders for agents ».

Les juges LLM ont des biais documentés. L'article de Zheng et al. (2023), qui a introduit MT-Bench et Chatbot Arena, examine les biais de position, de verbosité et d'auto-complaisance, ainsi que des capacités de raisonnement limitées. Il mesure aussi plus de 80 % d'accord entre GPT-4 et les préférences humaines sur ses propres jeux de test, soit le niveau d'accord entre humains. Anthropic recommande de calibrer les juges sur des experts humains, de leur permettre de répondre « inconnu » faute d'information, et de noter chaque dimension avec un juge séparé.

Le piège à éviter : noter le chemin au lieu du résultat

L'instinct pousse à vérifier que l'agent a appelé les bons outils dans le bon ordre. Anthropic juge cette approche trop rigide : les agents trouvent régulièrement des chemins valides que les concepteurs du test n'avaient pas prévus. Mieux vaut noter ce que l'agent a produit que le chemin qu'il a pris, et prévoir un crédit partiel pour les tâches à plusieurs étapes.

Il y a une exception : les actions que l'agent ne doit jamais faire. Là, vérifier les appels d'outils reste indispensable. L'OWASP classe ce risque sous le nom d'agentivité excessive (LLM06:2025) : des actions dommageables déclenchées par une sortie inattendue, ambiguë ou manipulée du modèle, quelle qu'en soit la cause. Ses causes racines sont des fonctions, des permissions ou une autonomie excessives.

Un jeu de test d'agent doit donc être équilibré, comme le recommande Anthropic : des tâches où l'action doit avoir lieu, et des tâches où elle ne doit pas avoir lieu. Un agent testé seulement sur « doit agir » apprend à agir trop souvent. Pour décider où placer une validation humaine avant une action sensible, voir notre article Agent IA connecté aux outils métier : où placer les validations humaines.

Capacité et régression : deux suites, deux rôles

Anthropic distingue deux types de suites.

  • La suite de capacité demande ce que l'agent sait bien faire. Elle commence avec un taux de réussite faible et donne une pente à gravir.
  • La suite de régression demande si l'agent sait encore faire tout ce qu'il faisait. Son taux de réussite doit être proche de 100 %. Une baisse signale que quelque chose est cassé.

Une tâche de capacité qui réussit de façon stable peut ensuite rejoindre la suite de régression. LangSmith formule le même principe côté outillage : une métrique d'évaluation peut devenir un test, par exemple en exigeant qu'une nouvelle version fasse au moins aussi bien que la version de référence.

Pour démarrer, Anthropic estime que 20 à 50 tâches simples tirées d'échecs réels suffisent. Commencez par les vérifications que vous faites déjà à la main avant chaque mise en production, et par les tickets de support si l'agent est déjà en service.

Le gate de régression en pratique : un exemple open source

Un gate de régression compare la version candidate à une version de référence, sur le même dataset, et fait échouer la chaîne d'intégration si l'écart dépasse un seuil. Ignition Agent Trainer, le projet open source d'IgnitionAI, en fournit un exemple.

Ce qu'est le projet, d'après son README : une couche d'évaluation, d'expérimentation et d'optimisation pour agents IA en TypeScript. Il ne remplace pas LangChain, LangGraph, Mastra ou le Vercel AI SDK. Il enveloppe un agent existant dans une boucle standard : dataset, adaptateur, collecte de traces, rewards et scorers, classement, optimisation.

L'exemple ci-regression-gate du dépôt rejoue une expérience, la compare à une référence enregistrée et fait échouer le processus si le score baisse trop, si la latence ou le coût augmente trop, ou si une variante de la référence disparaît. Les seuils de l'exemple :

SeuilValeur de l'exemple
Baisse de score maximale0,03
Hausse de latence maximale150 ms
Hausse de coût maximale0,001 $

Source : dépôt IgnitionAI/ignition-agent-trainer, examples/ci-regression-gate/README.md, consulté le 29 octobre 2026.

Les limites, telles que le dépôt les affiche. Le README décrit encore le projet comme un « initial scaffold ». Des notes de version v0.1.0-alpha.0 existent dans le dépôt, mais aucune release GitHub n'est publiée. Les exemples utilisent des données synthétiques ou simulées, et aucun résultat chiffré n'est publié. Ces seuils sont ceux d'un exemple : les vôtres dépendent de votre tâche, de votre budget et de la variance observée entre essais.

Le même principe s'applique avec d'autres outils. Anthropic cite plusieurs cadres d'évaluation, open source ou commerciaux, et conclut qu'ils ne valent que par la qualité des tâches qu'on leur fait exécuter.

Grille de décision

Votre situationApproche à étudier
Prototype sans aucun test20 à 50 tâches tirées d'échecs réels, évaluateurs par code d'abord
Agent qui modifie des données ou déclenche des actionsVérification du résultat final, tâches « ne doit pas agir », contrôle des appels d'outils interdits
Réponses ouvertes (rédaction, synthèse)Juge LLM avec grille, calibré sur un échantillon noté par des humains
Changement de modèle ou de prompt prévuSuite de régression rejouée sur plusieurs essais, gate sur score, latence et coût
Agent déjà en productionÉvaluation en ligne sur le trafic réel, et chaque échec observé ajouté au dataset hors ligne

Base de la grille : Anthropic, LangSmith et OWASP, cités ci-dessous. L'affectation des situations relève de notre lecture.

Pour tracer ce que l'agent fait à chaque étape, voir aussi notre article sur la traçabilité d'un agent IA.

FAQ

  • Combien de tâches faut-il pour évaluer un agent IA ?

    Anthropic estime que 20 à 50 tâches simples tirées d'échecs réels suffisent pour commencer. Un agent plus mûr demande des suites plus grandes et plus difficiles, car les écarts à détecter deviennent plus petits.

  • Faut-il vérifier l'ordre des appels d'outils ?

    En général non : Anthropic recommande de noter ce que l'agent a produit plutôt que le chemin suivi. L'exception concerne les actions interdites ou sensibles, qu'il faut contrôler explicitement.

  • Un juge LLM peut-il remplacer la revue humaine ?

    Non. Il est utile pour les réponses ouvertes, mais ses biais de position, de verbosité et d'auto-complaisance sont documentés. Calibrez-le sur des notes humaines et relisez régulièrement un échantillon.

  • Quelle différence entre pass@k et pass^k ?

    Le pass@k est la probabilité d'au moins un succès en k essais. Le pass^k est la probabilité que les k essais réussissent tous. Pour un agent face à des clients, le pass^k est souvent le plus exigeant et le plus utile.

  • Ignition Agent Trainer est-il prêt pour la production ?

    Non. Le projet est en alpha, son README le décrit comme un « initial scaffold », aucune release GitHub n'est publiée et aucun résultat chiffré n'est publié. Il sert ici d'exemple de gate de régression.

Méthodologie et sources

Sources techniques

Projet open source cité

  • IgnitionAI/ignition-agent-trainer, licence MIT, consulté le 29 octobre 2026 : README et examples/ci-regression-gate/README.md. Projet publié par IgnitionAI, en alpha, sans release GitHub ni résultat chiffré publié.

Interprétation

Les conseils, l'ordre des étapes et la grille de décision relèvent de notre lecture de ces sources. L'article ne contient ni statistique de marché ni estimation chiffrée IgnitionAI. Les chiffres cités (75 % et 42 %, 20 à 50 tâches, plus de 80 % d'accord) sont ceux des sources nommées.

Politique de rectification

Si vous identifiez une erreur factuelle ou une source devenue obsolète, signalez-le à contact@ignitionai.fr. La politique éditoriale d'IgnitionAI prévoit un examen de chaque signalement et, en cas d'erreur substantielle, une note de rectification visible en tête d'article.

Dernière relecture des sources

29 octobre 2026.


Vous préparez le passage en production d'un agent IA ? Décrivez votre contexte à IgnitionAI. Un premier échange peut aider à transformer vos vérifications manuelles en une première suite de tâches et un gate de régression.

Contact

Des agents IA qui répondent à partir de vos documents.

Des réponses sourcées, un périmètre écrit avant de démarrer et un prix fixe écrit avant le premier travail.

Échange gratuit de 30 minutes, sans engagement.