Utilisez cet article pour ajouter une fiche d'évaluation à une évaluation, créer une nouvelle fiche, ajouter des critères et définir le poids et le paramètre Critique de chaque critère.
Comment ajouter une fiche d'évaluation à une évaluation
Une fiche d'évaluation ajoute une notation de qualité à une évaluation, comme la clarification ou l'efficacité, en plus de ses contrôles de réussite/échec. Tant qu'une évaluation n'a pas de fiche d'évaluation, elle affiche uniquement les résultats de simulation et aucune évaluation de qualité. Une fiche d'évaluation s'applique à chaque simulation dans l'évaluation, avec les mêmes critères pour chacune.
Allez dans Test > Evals et ouvrez l'évaluation.
Cliquez sur Ajouter une fiche d'évaluation en haut à droite de l'évaluation, à côté de Nouvelle simulation.
Après avoir ajouté une fiche d'évaluation, une section Évaluation de la qualité apparaît en haut de l'évaluation, à côté de Résultats de simulation. Les critères affichés proviennent de la fiche d'évaluation que vous avez ajoutée, donc la section liste les critères que cette fiche contient. Elle montre le Score de révision global et la moyenne pour chacun de ces critères. La liste des conversations simulées obtient également une colonne Score de révision et une colonne pour chaque critère.
Vous pouvez aussi ajouter une fiche d'évaluation depuis Paramètres de l'évaluation. Pour ouvrir Paramètres de l'évaluation sur une évaluation existante, cliquez sur le menu options (...) à côté de Nouvelle simulation, puis cliquez sur Modifier l'évaluation. Dans Paramètres de l'évaluation, ouvrez le menu déroulant Évaluation de la qualité, puis choisissez une fiche d'évaluation existante ou cliquez sur Créer une nouvelle fiche d'évaluation. Par défaut, c'est Pas de fiche d'évaluation.
Note : Les fiches d'évaluation sont partagées avec les Moniteurs, donc les modifications apportées à une fiche s'appliquent partout où elle est utilisée. Pour rédiger des critères qui notent de manière fiable, consultez l'article Comment rédiger des critères efficaces pour Moniteur & Fiche d'évaluation.
Comment créer une fiche d'évaluation pour une évaluation
Pour créer une fiche d'évaluation pour une évaluation, nommez-la et ajoutez les critères sur lesquels Fin est noté. Les fiches d'évaluation d'évaluation évaluent toujours Fin, donc le paramètre Qui est évalué est fixé à Fin AI Agent, et Coéquipiers humains assignés n'est pas disponible.
Dans Paramètres de l'évaluation, ouvrez le menu déroulant Évaluation de la qualité et cliquez sur Créer une nouvelle fiche d'évaluation. Le menu déroulant affiche alors Nouvelle fiche d'évaluation, et le formulaire Nouvelle fiche d'évaluation apparaît en dessous.
Sous Nom de la fiche d'évaluation, saisissez un nom.
Sous Critères d'évaluation, cliquez sur + Critères. Le panneau Modifier la fiche d'évaluation > Nouveaux critères s'ouvre. Pour le remplir, consultez « Comment ajouter des critères à une fiche d'évaluation » ci-dessous.
Après avoir ajouté des critères notés, la section Score de révision (%) affiche une moyenne pondérée de ceux-ci. Elle est calculée en multipliant le score (%) de chaque critère par son poids, en additionnant les résultats, puis en divisant par le poids total. Jusqu'à ce moment, elle affiche Non noté.
Le bouton bascule Fiche d'évaluation auto-révision est disponible uniquement lorsque chaque critère utilise une évaluation IA.
Comment ajouter des critères à une fiche d'évaluation
Dans le panneau Modifier la fiche d'évaluation > Nouveaux critères, sous Nom du critère, saisissez un nom clair pour référence, par exemple Sentiment.
Sous Description, décrivez ce qui doit être évalué, en jusqu'à 255 caractères. Le réviseur IA utilise cette description pour décider quelle note appliquer.
Sous Options de notation, cliquez sur Ajouter une option jusqu'à ce que le critère ait au moins 2 options de notation. L'option Non applicable est toujours présente et ne compte pas.
Optionnellement, activez Motifs de notation.
Cliquez sur Enregistrer pour sauvegarder le critère, puis cliquez sur Enregistrer les modifications dans Paramètres de l'évaluation pour attacher la fiche d'évaluation à l'évaluation.
Les évaluations notent automatiquement chaque critère avec l'IA, en utilisant la description du critère et la transcription de la simulation (tous les messages, à l'exclusion des événements). Notation manuelle n'est pas disponible, car les simulations n'ont pas de réviseur humain. Le contenu Fin, les procédures et les directives ne sont pas encore disponibles pour le réviseur IA comme contexte.
Comment définir le poids de la note et Critique pour un critère
Dans le tableau Critères d'évaluation, chaque critère a un Poids de la note et un paramètre Critique :
Poids de la note : combien le critère compte dans le Score de révision (%). Les critères affichant Non noté n'ont pas de poids.
Critique : si un critère critique échoue, toute la fiche d'évaluation échoue, quel que soit le score de révision. La case à cocher Critique n'est pas disponible pour les critères affichant Non noté.
Comment lire les résultats de la fiche d'évaluation pour une simulation
Pour voir comment Fin a été noté sur une seule conversation, ouvrez une simulation d'une évaluation qui a une fiche d'évaluation. En plus de son contrôle de transfert et des contrôles de simulation, la simulation affiche son Score de révision et, pour chaque critère, la note donnée par le juge LLM (modèle de langage large). Si Motifs de notation est activé pour un critère, vous voyez aussi la raison du juge, afin de comprendre pourquoi une réponse a été notée ainsi et pouvoir en faire une correction.