Verwenden Sie diesen Artikel, um einer Eval eine Scorecard hinzuzufügen, eine neue Scorecard zu erstellen, Kriterien hinzuzufügen und die Gewichtung sowie die Kritische Einstellung jedes Kriteriums festzulegen.
Wie man eine Scorecard zu einer Eval hinzufügt
Eine Scorecard fügt einer Eval eine Qualitätsbewertung hinzu, wie z. B. Klarheit oder Effizienz, zusätzlich zu den Bestehen/Nicht-Bestehen-Prüfungen. Solange eine Eval keine Scorecard hat, zeigt sie nur Simulationsergebnisse und keine Qualitätsbewertung. Eine Scorecard gilt für jede Simulation in der Eval mit denselben Kriterien.
Gehen Sie zu Test > Evals und öffnen Sie die Eval.
Klicken Sie oben rechts in der Eval neben Neue Simulation auf Scorecard hinzufügen.
Nachdem Sie eine Scorecard hinzugefügt haben, erscheint oben in der Eval neben Simulationsergebnisse ein Abschnitt Qualitätsbewertung. Die angezeigten Kriterien stammen von der hinzugefügten Scorecard, sodass der Abschnitt die Kriterien dieser Scorecard auflistet. Er zeigt die Gesamt-Bewertungspunktzahl und den Durchschnitt für jedes dieser Kriterien. Die Liste der simulierten Gespräche erhält außerdem eine Spalte Bewertungspunktzahl und eine Spalte für jedes Kriterium.
Sie können auch eine Scorecard über die Eval-Einstellungen hinzufügen. Um die Eval-Einstellungen bei einer bestehenden Eval zu öffnen, klicken Sie auf das Optionsmenü (...) neben Neue Simulation und dann auf Eval bearbeiten. Öffnen Sie in den Eval-Einstellungen das Dropdown Qualitätsbewertung, wählen Sie eine vorhandene Scorecard oder klicken Sie auf Neue Scorecard erstellen. Standardmäßig ist Keine Scorecard ausgewählt.
Hinweis: Scorecards werden mit Monitoren geteilt, daher gelten Änderungen an einer Scorecard überall dort, wo sie verwendet wird. Um Kriterien zu schreiben, die zuverlässig bewerten, siehe den Artikel "Wie man effektive Monitor- & Scorecard-Kriterien schreibt".
Wie man eine Scorecard für eine Eval erstellt
Um eine Scorecard für eine Eval zu erstellen, benennen Sie sie und fügen die Kriterien hinzu, nach denen Fin bewertet wird. Eval-Scorecards bewerten immer Fin, daher ist die Einstellung Wer wird bewertet fest auf Fin AI Agent gesetzt, und Zugewiesene menschliche Teammitglieder ist nicht verfügbar.
Öffnen Sie in den Eval-Einstellungen das Dropdown Qualitätsbewertung und klicken Sie auf Neue Scorecard erstellen. Das Dropdown zeigt dann Neue Scorecard an, und das Formular Neue Scorecard erscheint darunter.
Geben Sie unter Scorecard-Name einen Namen ein.
Klicken Sie unter Bewertungskriterien auf + Kriterien. Das Panel Scorecard bearbeiten > Neue Kriterien öffnet sich. Zum Ausfüllen siehe "Wie man Kriterien zu einer Scorecard hinzufügt" unten.
Nachdem Sie bewertete Kriterien hinzugefügt haben, zeigt der Abschnitt Bewertungspunktzahl (%) einen gewichteten Durchschnitt dieser Kriterien an. Er wird berechnet, indem die Punktzahl (%) jedes Kriteriums mit seinem Gewicht multipliziert, die Ergebnisse addiert und dann durch das Gesamtgewicht geteilt werden. Bis dahin wird Nicht bewertet angezeigt.
Der Schalter Auto-Bewertung Scorecard ist nur verfügbar, wenn jedes Kriterium eine KI-Bewertung verwendet.
Wie man Kriterien zu einer Scorecard hinzufügt
Geben Sie im Panel Scorecard bearbeiten > Neue Kriterien unter Kriterienname einen klaren Namen zur Referenz ein, zum Beispiel Sentiment.
Beschreiben Sie unter Beschreibung, was bewertet werden soll, in bis zu 255 Zeichen. Der KI-Bewerter verwendet diese Beschreibung, um zu entscheiden, welche Bewertung zutrifft.
Klicken Sie unter Bewertungsoptionen auf Option hinzufügen, bis das Kriterium mindestens 2 Bewertungsoptionen hat. Die Option Nicht anwendbar ist immer vorhanden und zählt nicht mit.
Optional können Sie Bewertungsgründe einschalten.
Klicken Sie auf Speichern, um das Kriterium zu speichern, und dann in den Eval-Einstellungen auf Änderungen speichern, um die Scorecard an die Eval anzuhängen.
Evals bewerten jedes Kriterium automatisch mit KI, basierend auf der Kriterienbeschreibung und dem Simulationsprotokoll (alle Nachrichten, ohne Ereignisse). Manuell bewerten ist nicht verfügbar, da Simulationen keinen menschlichen Bewerter haben. Fin-Inhalte, Verfahren und Anleitungen stehen dem KI-Bewerter noch nicht als Kontext zur Verfügung.
Wie man Gewichtung und Kritisch für ein Kriterium festlegt
In der Tabelle Bewertungskriterien hat jedes Kriterium eine Gewichtung und eine Kritisch-Einstellung:
Gewichtung: wie stark das Kriterium zur Bewertungspunktzahl (%) beiträgt. Kriterien, die Nicht bewertet anzeigen, haben keine Gewichtung.
Kritisch: Wenn ein kritisches Kriterium nicht besteht, fällt die gesamte Scorecard durch, unabhängig von der Bewertungspunktzahl. Das Kontrollkästchen Kritisch ist für Kriterien, die Nicht bewertet anzeigen, nicht verfügbar.
Wie man Scorecard-Ergebnisse für eine Simulation liest
Um zu sehen, wie Fin in einem einzelnen Gespräch bewertet wurde, öffnen Sie eine Simulation aus einer Eval mit Scorecard. Neben der Übergabeprüfung und den Simulationsprüfungen zeigt die Simulation ihre Bewertungspunktzahl und für jedes Kriterium die Bewertung, die der LLM (Large Language Model) Richter vergeben hat. Wenn Bewertungsgründe für ein Kriterium aktiviert sind, sehen Sie auch den Grund des Richters, sodass Sie nachvollziehen können, warum eine Antwort so bewertet wurde, und dies in eine Korrektur umsetzen können.