Utilisez les Evals pour construire des conversations de test réalistes, les exécuter contre votre configuration Fin, et obtenir des résultats automatiques de réussite/échec avant que tout changement n’atteigne un vrai client. Exécutez les mêmes tests à nouveau chaque fois que vous effectuez un changement, pour vérifier que Fin se comporte toujours comme prévu.
Les Evals sont basés sur deux concepts :
Les Evals sont des groupes thématiques de tests, comme « Demandes de remboursement », « Scénarios d’escalade » ou « Ton et convivialité ».
Les Simulations sont les tests individuels à l’intérieur d’un Eval. Chacun est une conversation réaliste à plusieurs échanges entre un client simulé et Fin, avec les vérifications sur lesquelles le comportement de Fin est évalué.
Lorsque vous lancez un Eval, chaque Simulation à l’intérieur s’exécute automatiquement et obtient un résultat de réussite/échec. Un juge LLM (large language model) évalue chaque Simulation selon les critères que vous avez définis.
Note : Pour créer, modifier ou exécuter des Evals, vous devez avoir Can view configuration and propose changes in a draft release ou Can view configuration and publish changes directly to main (individually or in a release) sous Fin AI Agent & Automation. Les coéquipiers avec Can view configuration peuvent voir les Evals et leurs résultats.
Commencez avec les Evals :
Comment gérer vos Evals : trouvez, filtrez, taguez et créez des Evals, et importez des Simulations depuis un fichier CSV (comma-separated values).
Configurez les Simulations pour les Evals : choisissez le client simulé, les données que Fin voit, et les vérifications sur lesquelles Fin est évalué, ou créez une Simulation à partir d’une conversation réelle.
Comment exécuter les Evals et lire les résultats : lancez les Simulations, comprenez chaque résultat, et testez dans d’autres langues.
Comment ajouter une Fiche d’évaluation à un Eval : évaluez la qualité des réponses de Fin, ainsi que la réussite ou l’échec.
Créez et exécutez des Evals avec Operator : laissez Operator créer, exécuter, analyser et planifier les Evals pour vous.
Pour ajouter une Fiche d’évaluation à un Eval, ouvrez les paramètres de l’Eval et choisissez-en une dans le menu déroulant Quality evaluation, ou cliquez sur Create new scorecard.
Quand devriez-vous utiliser les Evals ?
Utilisez un Eval chaque fois que vous voulez avoir confiance dans le comportement de Fin :
Avant de déployer un changement : sur le contenu, les directives, les Procédures, ou tout autre élément de la configuration de Fin.
Lors du travail sur une Release : pour tester ensemble les changements de votre Release avant leur mise en production.
Après une correction : pour confirmer que vous avez résolu le problème que vous vouliez régler.
De façon continue : pour relancer vos Evals les plus importants comme une suite de régression et détecter les changements inattendus avant que les clients ne les remarquent.
Avant la mise en production de Fin : pour vérifier que votre configuration fonctionne comme prévu avant que les clients ne parlent à Fin pour la première fois.
Comment tester une Release avec les Evals
Lorsque vous travaillez sur des changements de Fin dans une Release, exécutez vos Evals contre ces changements avant leur mise en production. Fin répond en utilisant la version Release de votre contenu, directives, Procédures et Compétences, pour que vous puissiez voir comment vos changements fonctionnent sans affecter les clients.
Ouvrez votre Release et allez à l’onglet Evals.
Pour créer un Eval uniquement pour cette Release, cliquez sur Add an Eval, puis New eval. Il apparaît sous Added in this release.
Pour vérifier les régressions, cliquez sur Run eval sur n’importe lequel de vos Evals existants. L’onglet montre combien de vos Evals ont été exécutés contre la Release (par exemple, 3/5 run).
Lorsque vous testez une Release avec les Evals, gardez ces points en tête :
Les nouveaux Evals et Simulations que vous créez dans une Release n’apparaissent pas dans vos Evals en direct tant que la Release n’est pas fusionnée.
Les résultats sont conservés séparément pour chaque Release. Les exécutions dans une Release ne modifient pas les résultats que vous voyez dans Main Fin.
Si vous modifiez la Release après avoir exécuté un Eval, les résultats sont marqués comme obsolètes. Exécutez l’Eval à nouveau.
Dans une Release, vous ne pouvez pas renommer ou supprimer des Evals existants, ni modifier une Fiche d’évaluation.
Les tags ne sont pas enregistrés dans une Release. Les modifications de tags que vous faites dans une Release s’appliquent immédiatement à vos Evals en direct.
L’exécution des Evals n’est pas obligatoire pour fusionner une Release, mais nous la recommandons fortement.
Quel outil de test devrais-je utiliser ?
Utilisez ce tableau pour choisir entre les Evals, les Simulations de Procédure et Batch Test.
| Evals | Simulations de Procédure | Batch Test |
Tests | Toute la configuration de Fin, de bout en bout | Une Procédure seule | Questions uniques |
Type de conversation | Multi-échanges | Multi-échanges, dans une seule Procédure | Simple échange |
Notation | Automatique, par le juge LLM, plus des Fiches d’évaluation optionnelles | Automatique, selon des critères de succès et de résultat | Manuelle (Bon, Acceptable ou Mauvais) |
Idéal pour | Tests de régression et parcours clients complets | Construction et vérification d’une Procédure | Vérifications rapides d’information |
Utilisez les Simulations de Procédure pendant que vous construisez une Procédure, pour vérifier qu’elle se comporte correctement seule.
Utilisez les Evals une fois que cette Procédure est en production, pour tester la conversation complète, y compris son fonctionnement avec votre contenu, directives, connecteurs de données et transferts.
Si vous utilisez Batch Test aujourd’hui, commencez à construire des scénarios équivalents sous forme d’Evals. Vous pouvez exporter vos questions Batch Test vers un fichier CSV et les importer comme Simulations.
Note : À partir du 5 novembre 2026, les nouveaux espaces de travail ne verront plus Batch Test dans la navigation de gauche. Si vous utilisez déjà Batch Test, il reste disponible.
Quelles sont les limites d’utilisation des Simulations ?
Il y a une limite mensuelle au nombre de Simulations que vous pouvez exécuter dans les Evals. Cette limite s’applique à tout votre espace de travail et se réinitialise le premier jour de chaque mois calendaire. Votre quota est basé sur les conversations de votre espace de travail des 30 derniers jours, et est vérifié chaque mois.
Volume de conversation | Simulations par mois |
Moins de 1K | 250 |
1K–15K | 1 000 |
15K–100K | 1 750 |
100K–1M | 5 000 |
1M+ | 12 500 |
Chaque exécution de Simulation compte dès qu’elle commence, y compris celles que vous arrêtez en cours de route. Si vous atteignez votre limite, vous verrez « Vous avez atteint votre limite mensuelle de simulations », et vous ne pourrez plus exécuter de Simulations avant le mois suivant. Si vous cliquez sur Run all proche de votre limite, les Simulations qui tiennent dans votre quota s’exécutent, les autres ne démarrent pas.
Quelles sont les limitations actuelles des Evals ?
Jusqu’à 50 Simulations par Eval, et jusqu’à 50 lignes par import CSV.
Les tags s’appliquent uniquement aux Evals. Vous ne pouvez pas taguer des Simulations individuelles, ni exécuter tous les Evals avec un tag en une seule fois.
Pas de notifications. Vous ne serez pas averti lorsque l’exécution se termine.
Pas encore d’annotation de réviseur. Il n’y a aucun moyen d’enregistrer si un réviseur est d’accord ou non avec un résultat.
Pas encore de modèles préconstruits. Les catégories de tests courantes, comme l’injection de prompt, n’ont pas de point de départ prêt à l’emploi.
Les Workflows ne sont pas simulés. Une vérification de transfert peut confirmer que Fin passe une conversation à un workflow, mais les Evals ne simulent pas ce que fait le workflow ensuite.
FAQ sur les Evals
Ai-je besoin d’Operator pour utiliser les Evals ?
Ai-je besoin d’Operator pour utiliser les Evals ?
Vous n’avez pas besoin d’Operator pour utiliser les Evals : chaque client Fin peut créer et exécuter des Evals depuis Fin AI Agent > Test > Evals. Operator fait partie de l’add-on Pro et peut créer, exécuter, analyser et planifier les Evals pour vous.
Combien de temps prend l’exécution d’un Eval ?
Combien de temps prend l’exécution d’un Eval ?
Un Eval prend des minutes plutôt que des secondes à s’exécuter, car chaque Simulation est une conversation complète à plusieurs échanges suivie d’une notation. Les exécutions continuent en arrière-plan, vous pouvez donc quitter la page et revenir pour voir les résultats.
Pourquoi ma Simulation a-t-elle échoué alors que la réponse de Fin semblait correcte ?
Pourquoi ma Simulation a-t-elle échoué alors que la réponse de Fin semblait correcte ?
Une Simulation peut échouer même si la réponse de Fin semble correcte si vous n’avez pas défini de vérification de transfert. Dans ce cas, la Simulation est notée selon une vérification par défaut No handoff, donc elle échoue si Fin effectue un transfert.
Puis-je programmer l’exécution automatique des Evals ?
Puis-je programmer l’exécution automatique des Evals ?
Vous pouvez programmer l’exécution automatique des Evals avec une Routine Operator. L’article Créez et exécutez des Evals avec Operator explique comment faire.