Passer au contenu principal

Comment gérer vos Evals

Trouvez, filtrez, étiquetez et créez des Evals, importez des Simulations depuis un fichier CSV, ajoutez une Scorecard et voyez comment Fin performe dans vos Evals.

Utilisez cet article pour trouver, filtrer et étiqueter vos Evals, créer un nouvel Eval, organiser vos Evals, importer des Simulations depuis un fichier CSV (comma-separated values), ajouter une Scorecard et voir comment Fin performe dans vos Evals.


Qu'est-ce que la page Evals ?

La page Evals liste chaque Eval dans votre espace de travail, afin que vous puissiez voir comment chaque groupe de tests a performé et les relancer. Un Eval est un groupe thématique de tests, et chaque test à l'intérieur s'appelle une Simulation. Pour ouvrir la page, allez dans Test > Evals.

Le tableau des Evals comporte ces colonnes :

  • Nom de l'Eval : le nom de l'Eval, avec un bouton d'exécution à côté.

  • Résultat : comment l'Eval a performé lors de sa dernière exécution, par exemple 4/6 Réussis.

  • Étiquettes : toutes les étiquettes attachées à l'Eval.

  • Date de la dernière exécution : la date de la dernière exécution de l'Eval.

  • Dernière exécution par : qui a lancé l'Eval en dernier.

  • Dernière mise à jour : quand l'Eval a été modifié pour la dernière fois.

  • Créé : quand l'Eval a été créé.


Comment organiser vos Evals

Pour organiser vos Evals, regroupez les Simulations en Evals selon le thème qui a du sens pour votre entreprise. Beaucoup d'équipes commencent par ce qui ne fonctionne pas encore, puis développent à partir de là. Les points de départ courants incluent :

  • Problèmes connus : conversations où Fin a donné une réponse erronée, incomplète ou peu utile. Recréez chacune comme une Simulation, corrigez la cause, puis relancez-la pour confirmer la correction.

  • Scénarios d'escalade : situations où Fin doit (ou ne doit pas) transférer à un coéquipier.

  • Scénarios thématiques : un sujet, comme les demandes de remboursement, testé à travers différentes variations. Vos 10 ou 20 sujets principaux par volume de conversation sont un bon point de départ.

  • Scénarios comportementaux : vérifications que Fin reste dans le ton et la marque dans différentes situations, quel que soit le sujet.

Au fil du temps, construisez un ou plusieurs Evals comme un « ensemble doré » couvrant les conversations qui comptent le plus pour vous. Relancez régulièrement cet ensemble doré, par exemple chaque semaine ou à chaque modification de la configuration de Fin, pour vous assurer que vos scénarios les plus importants fonctionnent toujours.


Comment trouver un Eval par nom, résultat ou étiquette

Pour trouver un Eval par nom, tapez dans la boîte Rechercher des evals en haut de la page Evals. Pour affiner la liste, cliquez sur Ajouter un filtre et choisissez Résultat ou Étiquette.

Comment filtrer les Evals par résultat

  1. Allez dans Test > Evals.

  2. Cliquez sur Ajouter un filtre, puis sur Résultat.

  3. Sélectionnez un ou plusieurs résultats : Non exécuté, En cours, En file d'attente, Réussi, Partiellement réussi, Échoué, Annulé ou Intraitable.


Comment créer un nouvel Eval

Pour créer un Eval, choisissez de le construire manuellement ou d'importer une liste de scénarios clients depuis un fichier CSV.

  1. Allez dans Test > Evals.

  2. Cliquez sur Nouvel eval.

  3. Choisissez Créer manuellement pour construire vos Simulations vous-même, ou Importer un CSV pour importer une liste de scénarios clients.

  4. Donnez à l'Eval un nom clair et descriptif de 250 caractères maximum, afin que vous et vos coéquipiers puissiez comprendre ce qu'il couvre lorsque vous le relancerez plus tard.

Chaque Eval peut contenir jusqu'à 50 Simulations. Pour importer depuis un fichier CSV, consultez « Comment importer des Simulations depuis un fichier CSV » ci-dessous. Pour configurer les Simulations à l'intérieur d'un Eval, consultez l'article Configurer les Simulations pour les Evals.

Comment importer des Simulations depuis un fichier CSV

Pour importer des Simulations depuis un fichier CSV, téléchargez-le depuis la page Evals ou depuis un Eval. Chaque ligne devient une Simulation, et vous vérifiez chaque correspondance de colonne avant toute sauvegarde. Pour importer, vous devez avoir Peut voir la configuration et proposer des modifications dans une version brouillon ou Peut voir la configuration et publier des modifications directement sur la branche principale (individuellement ou dans une version) sous Fin AI Agent & Automation.

Pour importer dans un nouvel Eval, allez dans Test > Evals, cliquez sur Nouvel eval, puis sélectionnez Importer un CSV. Pour ajouter des Simulations à un Eval existant, ouvrez-le, sélectionnez Importer CSV dans le menu des options (...), puis choisissez cet Eval sous Importer vers.

Que peut contenir un fichier CSV pour les Simulations ?

Un import CSV peut remplir 5 champs de Simulation. Seul le message d'ouverture est obligatoire.

  • Message d'ouverture (obligatoire) : la première chose que le client simulé dit à Fin.

  • Instructions de suivi : ce que le client sait, ce qu'il partage avec Fin si on lui demande, et comment il communique.

  • Canal : le canal dans lequel le client simulé écrit.

  • Transfert : si Fin doit transférer la conversation : aucun, à une équipe ou à un workflow.

  • Réponse attendue : ce que Fin doit dire ou faire pour réussir. Chaque réponse attendue devient une vérification de réponse Fin. Pour ajouter plusieurs réponses attendues pour une Simulation, mettez chacune sur une ligne séparée dans la même cellule.

Pour commencer avec un fichier prêt à l'emploi, cliquez sur Télécharger le modèle dans la boîte de dialogue Importer un fichier CSV. Le modèle comporte une colonne pour chacun des 5 champs. Les en-têtes de colonne n'ont pas besoin de correspondre exactement au modèle. Des noms courants comme question, prompt, persona, outcome ou ground truth sont automatiquement reconnus. Les fichiers séparés par des virgules, points-virgules ou tabulations fonctionnent tous.

Quelles sont les limites d'importation CSV ?

Limite

Valeur

Lignes par fichier et par Eval

50

Taille du fichier

10 Mo

Caractères par réponse attendue

1 000

Champs de simulation à faire correspondre

5

Comment télécharger un fichier CSV et faire correspondre les colonnes aux champs de simulation

  1. Dans la boîte de dialogue Télécharger un fichier CSV, faites glisser votre fichier CSV ou cliquez sur Choisir un fichier. Le fichier est lu dans votre navigateur et affiché sous forme de tableau, avec le nombre de lignes et de colonnes, avant toute sauvegarde. Pour utiliser un autre fichier, cliquez sur Remplacer le fichier.

  2. Vérifiez le tableau, puis cliquez sur Continuer.

  3. À l'étape Faire correspondre les colonnes, vérifiez le champ de simulation associé à chaque colonne et modifiez ceux qui sont incorrects, ou cliquez sur Réinitialiser les correspondances pour recommencer.

  4. À côté de Importer vers, choisissez Nouvelle évaluation et saisissez un nom, ou choisissez une évaluation existante pour y ajouter les simulations.

Chaque champ de simulation est associé à une colonne, et les colonnes non utilisées sont listées sous Non utilisées et ignorées. Si une réponse attendue dépasse 1 000 caractères, il vous est demandé quoi en faire : Les exclure (par défaut) importe la ligne sans cette réponse, Couper à 1 000 caractères conserve le début de la réponse, et Ignorer ces lignes exclut toute la ligne.

Comment corriger les valeurs Channel et Handoff sans modifier votre fichier CSV

Si une valeur Channel ou Handoff n'est pas reconnue par Fin, comme WhatsApp ou Oui, un avertissement apparaît sur ce champ.

  1. Sélectionnez l'avertissement sur le champ Channel ou Handoff.

  2. Choisissez ce que signifie chaque valeur non reconnue.

  3. Cliquez sur Appliquer.

Vous pouvez aussi choisir Ignorer les lignes pour exclure ces lignes de l'importation.

Comment prévisualiser et importer des simulations à partir d'un fichier CSV

  1. Cliquez sur Prévisualiser les simulations pour voir chaque ligne telle qu'elle sera exécutée, y compris le premier message, les instructions de suivi, les vérifications de réponse Fin et le transfert.

  2. Vérifiez le nombre de lignes en bas de la boîte de dialogue. Il indique combien de lignes seront importées (par exemple, 9 sur 10 lignes) et ce qui est exclu.

  3. Cliquez sur Importer.

Après l'importation, une confirmation indique combien de simulations ont été créées. Chaque ligne apparaît dans l'évaluation comme une simulation nommée d'après son message d'ouverture, prête à ce que vous cliquiez sur Tout exécuter. Les simulations importées utilisent le Client test et toutes les marques, donc ouvrez une simulation pour choisir un client spécifique. Les tags sont ajoutés à l'évaluation, pas dans le fichier CSV. Lorsque vous importez dans une version, les simulations sont ajoutées à cette version.

Quand ne pouvez-vous pas importer des simulations à partir d'un fichier CSV ?

  • Aucune colonne n'est associée au Message d'ouverture, ou aucune ligne n'en contient.

  • La nouvelle évaluation n'a pas de nom, ou le nom est déjà pris.

  • Votre fichier contient plus de 50 lignes.

Si vos lignes feraient dépasser une évaluation existante de plus de 50 simulations, vous voyez combien en restent et pouvez sélectionner Importer les [nombre] premiers pour n'importer que ceux-ci. Si des lignes sont rejetées lors de l'importation, rien n'est sauvegardé. Chaque ligne problématique est listée avec la raison, et vous pouvez sélectionner Importer sans ces lignes pour importer le reste.


Comment taguer les évaluations et gérer les tags

Les tags regroupent les évaluations liées pour que vous puissiez les retrouver rapidement à mesure que votre suite grandit. Par exemple, taguez par sujet (Remboursements), équipe ou propriétaire (Équipe facturation), type de test (Régression, Escalade), ou langue (Français). Une évaluation peut avoir autant de tags que nécessaire.

Comment créer un tag pour les évaluations

Pour voir et créer des tags, cliquez sur Tags en haut à droite de la page des évaluations. Le panneau Tags liste chaque tag et combien d'évaluations l'utilisent, et vous pouvez trouver un tag avec la boîte Rechercher des tags.

  1. Allez à Test > Évaluations.

  2. Cliquez sur Tags, puis cliquez sur Nouveau tag.

  3. Sous Nom, saisissez un nom pour le tag, par exemple « Remboursements ».

  4. Optionnellement, cliquez sur Ajouter des évaluations et choisissez les évaluations qui devraient recevoir le tag lors de sa création.

  5. Cliquez sur Créer le tag.

Comment ajouter des tags aux évaluations

  • Depuis la liste des évaluations : sélectionnez les cases à cocher à côté d'une ou plusieurs évaluations, cliquez sur Taguer au-dessus de la liste, et choisissez les tags à ajouter. Vous pouvez taguer jusqu'à 100 évaluations à la fois.

  • Depuis l'intérieur d'une évaluation : cliquez sur + Tag sous le nom de l'évaluation.

Comment filtrer les évaluations par tag

  1. Allez à Test > Évaluations.

  2. Cliquez sur Ajouter un filtre, puis cliquez sur Tag.

  3. Sélectionnez un ou plusieurs tags. Chaque tag indique combien d'évaluations l'utilisent.

Comment renommer ou supprimer des tags pour les évaluations

Pour renommer ou supprimer un tag, cliquez sur Tags en haut de la page des évaluations, ou sélectionnez Gérer les tags dans le sélecteur de tags. Le panneau montre combien d'évaluations utilisent chaque tag. Supprimer un tag le retire de toutes les évaluations, y compris celles dans les versions.

Note : Les tags s'appliquent aux évaluations, pas aux simulations individuelles. Pour regrouper les simulations différemment, divisez-les en évaluations séparées. Les tags d'évaluation sont distincts des tags utilisés sur les conversations et contacts.


Comment ajouter une fiche d'évaluation à une évaluation

Une fiche d'évaluation ajoute une notation de qualité à une évaluation, comme Clarification ou Efficacité, en plus de ses contrôles de réussite/échec. Pour en ajouter une, ouvrez l'évaluation et cliquez sur Ajouter une fiche d'évaluation en haut à droite, à côté de Nouvelle simulation. Après l'ajout, une section Évaluation de la qualité apparaît à côté des Résultats de la simulation. Pour créer une fiche d'évaluation, ajouter des critères, et définir le poids de chaque critère et le paramètre Critique, consultez l'article Comment ajouter une fiche d'évaluation à une évaluation.


Comment voir les performances de Fin dans vos évaluations

Pour voir comment Fin a performé dans toutes vos évaluations, regardez le résumé en haut de Test > Évaluations. Il reflète la dernière fois que chaque simulation a été exécutée, et il comporte deux parties :

  • Résultats de la simulation : combien de Simulations ont passé tous leurs contrôles de Simulation et de Transfert, par exemple 42/50 passées (84%). Les Simulations ayant rencontré une erreur sont comptées comme échouées, et les Simulations non encore lancées comptent dans le total.

  • Évaluation de la qualité : pour chaque Scorecard, la note moyenne de révision et la moyenne pour chaque critère, sur toutes les Evals qui l’utilisent. Utilisez les flèches pour naviguer entre les Scorecards.

Le résumé se met à jour avec votre recherche et vos filtres, donc filtrer par un tag affiche les résultats uniquement pour ces Evals. Pour comparer des exécutions précédentes, ouvrez une Simulation et cliquez sur le menu déroulant de l’historique des exécutions à côté de son résultat. Il liste chaque exécution par date avec son résultat.


FAQ sur la gestion des Evals

Combien de Simulations un Eval peut-il contenir ?

Un Eval peut contenir jusqu’à 50 Simulations. Pour en ajouter plus, supprimez des Simulations existantes ou créez un nouvel Eval.

Puis-je créer des Simulations à partir d’un fichier CSV ?

Oui, vous pouvez créer des Simulations à partir d’un fichier CSV. Cliquez sur Nouvel eval, puis choisissez Importer un CSV. Pour ajouter des Simulations importées à un Eval existant, ouvrez-le et sélectionnez Importer CSV dans le menu des options (...). Les questions Batch Test fonctionnent aussi : exportez-les dans un fichier CSV, et chaque question devient le message d’ouverture d’une Simulation.

Puis-je taguer des Simulations individuelles ?

Vous ne pouvez pas taguer des Simulations individuelles, car les tags s’appliquent uniquement aux Evals. Pour regrouper les Simulations différemment, divisez-les en Evals séparés.

Qui peut créer, modifier et exécuter des Evals ?

Les coéquipiers avec Peut voir la configuration et proposer des modifications dans une version brouillon ou Peut voir la configuration et publier des modifications directement sur main (individuellement ou dans une version) sous Fin AI Agent & Automation peuvent créer, modifier, taguer et exécuter des Evals. Les coéquipiers avec Peut voir la configuration peuvent voir les Evals et leurs résultats, et peuvent les filtrer par tag.

Avez-vous trouvé la réponse à votre question ?