Utilisez cet article pour demander à Operator de créer, exécuter et analyser des Evals, de revoir les modifications proposées et de planifier des exécutions récurrentes. Operator peut également recommander des améliorations pour vos Evals et Simulations ou pour la configuration de Fin. Pour les bases, y compris ce que sont les Evals et Simulations, consultez l'article Evals explained.
Note : Pour utiliser les Evals avec Operator, votre espace de travail doit disposer du Pro add-on et vous devez avoir accès à Operator.
Comment créer un Eval avec Operator
Pour créer un Eval avec Operator, ouvrez Operator dans la navigation de gauche et demandez-lui de créer un Eval pour votre cas d'utilisation. Par exemple, vous pouvez lui demander de tester :
La Release sur laquelle vous travaillez : les modifications de la configuration de Fin dans votre Release actuelle, avant leur mise en production.
Conversations spécifiques : partagez un ou plusieurs ID de conversation, et Operator crée des Simulations qui les recréent.
Cas limites que vous n'avez pas encore couverts : demandez à Operator de rechercher des lacunes dans vos Simulations existantes et de suggérer de nouvelles.
Une Procédure nouvelle ou mise à jour : vérifiez que Fin suit chaque étape, y compris les points où il doit transférer.
Un sujet : nommez un sujet, comme les remboursements, et Operator crée des Simulations couvrant la gamme de scénarios pour lesquels les clients sont susceptibles de vous contacter.
Plus de variations d'un Eval existant : demandez à Operator d'ajouter des Simulations avec différents clients, tons ou langues.
Vous pouvez indiquer à Operator ce que doivent être les Simulations, les vérifications de Simulation et les vérifications de transfert, ou le laisser les déterminer. Si quelque chose n'est pas clair, comme s'il faut ajouter des Simulations à un Eval existant ou à quelle équipe un transfert doit être adressé, Operator vous demande d'abord. Choisissez une option, tapez votre propre réponse sous Something else ou cliquez sur Skip pour laisser Operator décider.
Astuce : Plus votre demande est précise, moins Operator aura de questions à poser.
Exemple de prompt : Créez un nouvel Eval appelé « Refund requests » avec 5 Simulations : une demande de remboursement simple, un client demandant un remboursement hors délai, un client frustré facturé deux fois, un client demandant en espagnol, et un cas où Fin doit transférer à l'équipe Billing. Pour l'adapter, remplacez le nom de l'Eval et les scénarios par votre propre sujet et vos cas.
Comment revoir et enregistrer ce qu'Operator crée
Operator ne sauvegarde rien tant que vous ne l'avez pas examiné. Les nouveaux Evals et Simulations apparaissent dans le panneau « changes pending » au-dessus de la zone de message, chacun marqué « New ». Cliquez sur un élément pour le revoir avant de l'enregistrer.
Lorsque vous êtes prêt, choisissez où enregistrer les modifications :
Publier sur Fin Main : enregistre toutes les modifications en attente dans vos Evals en direct immédiatement.
Enregistrer dans un brouillon de release : enregistre les modifications dans un brouillon de release existant, afin que vous puissiez les tester avec d'autres modifications avant leur mise en production. Sélectionnez un brouillon dans la liste ou cliquez sur New release draft pour en créer un.
Pour annuler les modifications, cliquez sur l'icône de suppression.
Comment exécuter un Eval avec Operator
Pour exécuter un Eval avec Operator, demandez-lui d'exécuter l'Eval, par exemple : Exécutez l'Eval Refund requests. Operator vous montre les résultats au fur et à mesure que chaque Simulation s'exécute.
Vous n'avez pas besoin d'Operator pour exécuter un Eval. Allez dans Test > Evals et exécutez-le vous-même. Les exécutions lancées depuis Operator y apparaissent aussi, vous permettant de consulter tous les résultats en un seul endroit.
Comment lire les résultats fournis par Operator
Une fois que chaque Simulation a été exécutée, Operator présente les résultats et les explique :
Un tableau des résultats : le résultat global de chaque Simulation (Réussi, Échoué ou Erreur) et les vérifications individuelles qui le sous-tendent, pour que vous puissiez voir pourquoi il a abouti ainsi. Par exemple, une Simulation appelée « Export massif de l'espace de travail » peut échouer parce que la vérification de transfert a échoué (Fin a escaladé alors qu'il n'aurait pas dû), même si la vérification de réponse de Fin a réussi.
Un résumé : les chiffres principaux (3 réussis, 1 échoué, 2 erreurs), suivis d'une explication claire de ce qui a mal tourné et pourquoi. Par exemple, Operator peut retracer un échec d'exportation jusqu'à une règle de guidage qui transfère à un coéquipier chaque fois que le mot « failure » apparaît.
Comment résoudre les problèmes avec Operator
Après avoir analysé les résultats, Operator peut recommander des améliorations, soit pour vos Evals et Simulations, soit pour la configuration de Fin, et effectuer ces modifications pour vous. Par exemple, lorsqu'une Simulation échoue à cause d'une règle de guidage, Operator retrace l'échec jusqu'à cette règle pour que vous puissiez voir ce qu'il faut corriger. Operator n'applique pas les corrections lui-même. Chaque modification proposée apparaît dans le panneau « changes pending » pour que vous puissiez la revoir avant qu'elle ne soit enregistrée, comme décrit dans « Comment revoir et enregistrer ce qu'Operator crée » ci-dessus.
Comment planifier des Evals avec Operator et Routines
Pour exécuter des Evals selon un calendrier régulier, par exemple chaque lundi matin, configurez une Routine dans Operator. Vous ne pouvez pas planifier des Evals depuis la page Evals.
Pour planifier un Eval :
Ouvrez Operator dans la navigation de gauche et cliquez sur Routines.
Sous Configurer une routine, décrivez ce que vous voulez exécuter et quand. Par exemple : « Exécutez l'Eval Refund requests chaque lundi à 9h et résumez les résultats. »
Operator rédige la Routine et l'affiche dans un panneau à droite, avec son déclencheur, son calendrier et ses instructions. Si quelque chose manque, comme l'heure ou le fuseau horaire, Operator suggère une valeur par défaut et vous demande de confirmer ou de la modifier.
Vérifiez les détails de la Routine, puis cliquez sur Accepter pour l'activer, ou sur Annuler pour la supprimer.
Chaque fois que la Routine s'exécute, elle rapporte combien de Simulations ont réussi et échoué, lesquelles ont échoué et pourquoi, ainsi que les corrections recommandées pour le contenu, les règles ou les Procédures de Fin.