Utilisez cet article pour configurer une Simulation : définissez le client simulé, contrôlez les données que Fin voit au début de la conversation, choisissez les contrôles et la remise que le juge LLM (grand modèle de langage) utilise pour évaluer Fin, ou créez une Simulation à partir d'une conversation réelle.
Comment ouvrir l'éditeur de Simulation
Pour configurer une Simulation, ouvrez-la et cliquez sur Modifier, ou cliquez sur Nouvelle simulation sur une page d'Eval. L'éditeur comporte trois sections : le client simulé, les données que Fin voit, et comment le juge LLM évalue Fin. Lorsque vous avez terminé, cliquez sur Enregistrer, puis sur Exécuter pour la tester.
Comment définir le client simulé
La section Définir le client simulé configure avec qui Fin va parler.
Titre (optionnel) : si vous n'en ajoutez pas, le nom de la Simulation correspond au premier message du client.
Simulation en tant que : le client avec qui Fin parle, par exemple Test customer, et la marque, affichée comme Toutes les marques.
Canal : Chat ou Email.
Heure de la Simulation : une date et heure fixes utilisées pour la Simulation. Elle utilise le fuseau horaire du client, ou GMT (Greenwich Mean Time) si aucun n'est défini. Elle commence à Non défini.
Premier message du client (obligatoire) : la première chose que le client simulé dit à Fin.
Instructions de suivi : ce que le client sait, ce qu'il partagera si on lui demande, et comment il communique. Fin les utilise pour générer le reste de la conversation côté client, pour une simulation multi-tours réaliste.
Comment choisir qui est le client simulé
Par défaut, chaque Simulation se déroule en tant que Test customer. Le Test customer appartient à tous vos publics, donc Fin peut utiliser tout votre contenu en direct, vos directives et automatisations. C'est utile pour vérifier ce que Fin sait, mais cela ne montre pas ce qu'un client spécifique vivrait.
Pour tester le ciblage d'audience, simulez plutôt un client réel ou un lead de votre espace de travail. Fin voit alors uniquement le contenu, les directives, les Procédures et les connecteurs de données auxquels ce client a droit, comme dans une conversation en direct.
Dans l'éditeur de Simulation, allez à Définir le client simulé.
À côté de Simulation en tant que, cliquez sur Test customer et sélectionnez Client ou lead.
Pour restreindre la liste, choisissez un public dans le menu déroulant sous la zone de recherche. Il affiche Tout le monde par défaut, et liste les users et leads actuellement dans ce public.
Recherchez par nom, email ou ID client, et sélectionnez la personne avec qui vous voulez que Fin parle.
Lorsque la Simulation s'exécute, elle utilise les attributs, l'entreprise et les tags de cette personne. Pour tester un scénario spécifique, remplacez certains de ces éléments dans Définir les données Fin (optionnel) > Valeurs d'attributs de départ. Tout ce que vous ne définissez pas utilise les valeurs existantes du client.
Note :
Les publics qui utilisent des attributs de conversation, ou qui filtrent par marque, ne peuvent pas être sélectionnés, car l'appartenance dépend d'une conversation qui n'a pas encore eu lieu. Vous pouvez toujours choisir un client en utilisant un autre public, ou en recherchant dans tout le monde.
Le public est uniquement utilisé pour trouver un client et n'est pas enregistré avec la Simulation. Chaque exécution vérifie à quels publics le client appartient en fonction de ses données à ce moment, donc les résultats peuvent changer.
Seuls les users et leads peuvent être sélectionnés. Les visiteurs ne sont pas disponibles.
Si vous revenez à Test customer (par défaut), le ciblage d'audience est désactivé pour cette Simulation.
Combien de temps une Simulation peut-elle durer, et combien une Eval peut-elle contenir ?
Une Simulation se termine après un maximum de 6 réponses de Fin, ou plus tôt si Fin résout la conversation, fait une remise, ou si le client simulé met fin à la conversation. Chaque Eval supporte jusqu'à 50 Simulations. Pour en ajouter plus, supprimez des Simulations existantes ou placez les Simulations supplémentaires dans une nouvelle Eval.
Comment définir les données que Fin voit dans une Simulation
La section optionnelle Définir les données Fin contrôle les données que Fin voit au début de la Simulation.
Valeurs d'attributs de départ : les valeurs d'attributs que Fin voit au début de la conversation. Cliquez sur Ajouter un attribut pour en définir un.
Réponses des données : dans les Simulations, les connecteurs de données retournent toujours leur réponse de test enregistrée, jamais de données en direct, quel que soit le client simulé. Cliquez sur Personnaliser une réponse de connecteur pour changer la réponse de test uniquement pour cette Simulation.
Comment définir comment le juge LLM évalue Fin
La section Définir le comportement du juge LLM définit comment les réponses de Fin sont notées. Elle comporte deux parties : les contrôles de Simulation et la Remise.
Comment ajouter un contrôle de Simulation
Les contrôles de Simulation décrivent ce que Fin doit dire ou faire pour réussir, le cas échéant. Pour en ajouter un, cliquez sur Ajouter et choisissez un type de contrôle :
Réponse de Fin : décrivez ce que Fin doit dire pendant la conversation. Séparez chaque réponse attendue en son propre critère de réussite.
Procédure déclenchée : Fin a démarré une Procédure spécifique.
Procédure changée : Fin est passé d'une Procédure à une autre pendant la conversation.
Compétence : Fin a utilisé une Compétence spécifique.
Connecteur de données : Fin a appelé un connecteur de données spécifique.
Comment définir la remise attendue
La Remise décrit ce qui doit être vrai à la fin de la conversation. Choisissez une de ces options :
Pas de remise : Fin n'a pas fait de remise à une équipe ou un workflow.
Remis à une équipe ou un coéquipier : Fin n'a pas pu répondre, ou une directive de remise a été appliquée.
Remis à un workflow : la conversation n'est pas simulée après la remise.
Important : Si une Simulation n'a pas de contrôle de Remise ni de contrôles de Simulation, elle est évaluée selon un contrôle Pas de remise par défaut, et elle échoue si Fin fait une remise. Ce contrôle par défaut n'est pas affiché dans l'éditeur, donc ajoutez un contrôle de Remise explicite à chaque Simulation.
Après avoir configuré une Simulation, consultez l'article Comment exécuter les Evals et lire les résultats.
Comment créer une Simulation à partir d'une conversation réelle
Pour créer une Simulation à partir d'une conversation client réelle, copiez un lien vers la conversation et demandez à Operator de créer la Simulation. Vous n'avez pas besoin de taper le scénario vous-même.
Une Simulation créée à partir d'une conversation réelle s'appelle une relecture. Une relecture capture la conversation jusqu'à une réponse de Fin et fige les messages précédents. Chaque exécution génère uniquement cette réponse, vous testez donc la réponse qui vous importe, pas une conversation qui change à chaque exécution. Cela fait des relectures le moyen le plus rapide de transformer une erreur réelle en test permanent.
Comment copier un lien vers une conversation Fin
Pour copier un lien vers une conversation Fin, ouvrez la conversation dans la liste des conversations Fin et utilisez le menu d'options sur un message.
Dans Fin, allez à Analyser > Conversations et ouvrez la conversation que vous voulez tester.
Survolez un message dans la conversation, puis cliquez sur le menu d'options (...) qui apparaît à côté.
Cliquez sur Copier le lien.
Collez le lien dans un chat avec Operator, comme décrit dans la section suivante.
Comment créer une Simulation avec Operator
Pour créer une Simulation avec Operator, demandez-lui de créer une simulation pour la conversation. Operator rejoue le message d'ouverture du client et propose la Simulation dans l'Eval que vous choisissez.
Note : Pour créer des Simulations avec Operator, vous avez besoin de l'add-on Pro.
Dans un chat avec Operator, écrivez Créer une simulation pour cette conversation et ajoutez la conversation.
Répondez aux deux questions posées par Operator : Dans quelle Eval la simulation doit-elle aller ? et Comment Fin doit-il terminer la conversation ? Par exemple, choisissez Fin répond lui-même (pas de remise) si Fin doit résoudre la conversation sans faire de remise.
Examinez la Simulation proposée, puis cliquez sur Publier dans Fin Main pour l'ajouter à l'Eval.
Jusqu'à ce que vous cliquiez sur Publier dans Fin Main, la Simulation reste un changement en attente et ne peut pas être exécutée.
Comment modifier une Simulation de relecture avec Operator
Pour modifier une Simulation de relecture, demandez à Operator de faire le changement dans le même chat, par exemple mettez-la à jour pour faire une remise à un coéquipier. Operator propose la modification aux contrôles de Simulation, et vous cliquez sur Publier dans Fin Main pour l'enregistrer.
Que comprend une Simulation de relecture ?
Après avoir cliqué sur Publier dans Fin Main, la Simulation de relecture apparaît dans l'Eval que vous avez choisie, nommée d'après le message d'ouverture du client. Ouvrez-la depuis l'Eval pour voir ces parties :
Contexte initial de la conversation : les messages de la conversation source jusqu'au message du client, avec un espace réservé où apparaît la réponse unique de Fin lorsque la Simulation s'exécute.
Voir la conversation source : un lien vers la conversation originale.
Définir le client simulé : Simulation en tant que, la marque, le Canal, et l'Heure de la Simulation.
Instructions de suivi : instructions optionnelles sur ce que le client dit après la première réponse de Fin. Les ajouter nécessite au moins un contrôle de Simulation, pour que Fin ait quelque chose sur quoi être évalué.
Note : Certaines parties d'une Simulation de relecture ne peuvent pas être modifiées, y compris la section Définir le client simulé. Elles proviennent de la conversation source. Pour changer ce sur quoi Fin est évalué, modifiez les contrôles de Simulation, par exemple en demandant à Operator de les mettre à jour.
Comment utiliser une relecture pour corriger la réponse de Fin
Pour corriger une réponse de Fin avec une relecture, exécutez-la, modifiez la configuration de Fin, et réexécutez-la jusqu'à ce qu'elle réussisse :
Exécutez la relecture pour voir comment Fin répond avec votre configuration actuelle.
Faites un changement au contenu, aux directives, à la Procédure ou à la Compétence derrière la réponse. Pour tester le changement avant sa mise en production, faites-le dans une Release.
Exécutez la relecture à nouveau et comparez la nouvelle réponse avec les exécutions précédentes, en utilisant le menu déroulant de l'historique d'exécution sur la Simulation.
Ajoutez des contrôles qui définissent ce que signifie « corrigé », comme un contrôle de réponse de Fin ou un contrôle de Remise, pour obtenir un résultat clair de réussite ou d'échec au lieu d'un jugement subjectif.
Conservez la relecture une fois qu'elle réussit. Elle sert désormais de test de régression, donc réexécutez-la après des modifications futures pour vous assurer que la correction tient.