Verwenden Sie diesen Artikel, um Ihre Evals zu finden, zu filtern und zu taggen, ein neues Eval zu erstellen, Ihre Evals zu organisieren, Simulationen aus einer CSV (comma-separated values)-Datei zu importieren, eine Scorecard hinzuzufügen und zu sehen, wie Fin bei Ihren Evals abschneidet.

Die Evals-Seite listet jedes Eval in Ihrem Arbeitsbereich auf, sodass Sie sehen können, wie jede Testgruppe abgeschnitten hat und sie erneut ausführen können. Ein Eval ist eine thematische Gruppe von Tests, und jeder Test darin wird Simulation genannt. Um die Seite zu öffnen, gehen Sie zu Test > Evals.

Die Evals-Tabelle hat diese Spalten:

Um Ihre Evals zu organisieren, gruppieren Sie Simulationen in Evals nach einem Thema, das für Ihr Unternehmen sinnvoll ist. Viele Teams beginnen mit dem, was noch nicht funktioniert, und bauen darauf auf. Häufige Ausgangspunkte sind:

Im Laufe der Zeit bauen Sie ein oder mehrere Evals als „goldenes Set“ auf, das die für Sie wichtigsten Gespräche abdeckt. Führen Sie das goldene Set regelmäßig erneut aus, zum Beispiel wöchentlich oder immer dann, wenn Sie Fins Konfiguration ändern, um sicherzustellen, dass Ihre wichtigsten Szenarien weiterhin funktionieren.

Um ein Eval nach Name zu finden, geben Sie im Suchfeld für Evals oben auf der Evals-Seite ein. Um die Liste einzuschränken, klicken Sie auf Filter hinzufügen und wählen Ergebnis oder Tag.

Um ein Eval zu erstellen, wählen Sie, ob Sie es manuell erstellen oder eine Liste von Kundenszenarien aus einer CSV-Datei importieren möchten.

Jedes Eval kann bis zu 50 Simulationen enthalten. Um aus einer CSV-Datei zu importieren, siehe „Wie man Simulationen aus einer CSV-Datei importiert“ weiter unten. Um die Simulationen innerhalb eines Evals einzurichten, siehe den Artikel Simulationen für Evals einrichten.

Um Simulationen aus einer CSV-Datei zu importieren, laden Sie diese von der Evals-Seite oder innerhalb eines Evals hoch. Jede Zeile wird zu einer Simulation, und Sie überprüfen jede Spaltenzuordnung, bevor etwas gespeichert wird. Zum Import benötigen Sie Kann Konfiguration ansehen und Änderungen in einem Entwurf vorschlagen oder Kann Konfiguration ansehen und Änderungen direkt im Hauptzweig veröffentlichen (einzeln oder in einem Release) unter Fin AI Agent & Automation.

Um in ein neues Eval zu importieren, gehen Sie zu Test > Evals, klicken Sie auf Neues Eval und wählen Sie CSV hochladen. Um Simulationen zu einem bereits vorhandenen Eval hinzuzufügen, öffnen Sie es, wählen Sie CSV importieren aus dem Optionsmenü (...) und wählen dann dieses Eval unter Importieren nach.

Ein CSV-Import kann 5 Simulationsfelder füllen. Nur die Eröffnungsnachricht ist erforderlich.

Um mit einer fertigen Datei zu starten, klicken Sie im Dialog CSV-Datei hochladen auf Vorlage herunterladen. Die Vorlage hat eine Spalte für jedes der 5 Felder. Spaltenüberschriften müssen nicht genau mit der Vorlage übereinstimmen. Gängige Namen wie question, prompt, persona, outcome oder ground truth werden automatisch erkannt. Dateien mit Komma-, Semikolon- oder Tabulatortrennung funktionieren alle.

Jedes Simulationfeld ist einer Spalte zugeordnet, und nicht verwendete Spalten werden unter Nicht verwendet aufgelistet und ignoriert. Wenn eine erwartete Antwort mehr als 1.000 Zeichen enthält, werden Sie gefragt, wie damit verfahren werden soll: Auslassen (Standard) importiert die Zeile ohne diese Antwort, Auf 1.000 Zeichen kürzen behält den Anfang der Antwort, und Diese Zeilen überspringen lässt die ganze Zeile weg.

Wenn ein Channel- oder Handoff-Wert von Fin nicht erkannt wird, wie z. B. WhatsApp oder Yes, erscheint eine Warnung bei diesem Feld.

Sie können auch Zeilen überspringen wählen, um diese Zeilen vom Import auszuschließen.

Nach dem Import zeigt eine Bestätigung, wie viele Simulationen erstellt wurden. Jede Zeile erscheint in der Eval als Simulation, benannt nach ihrer Eröffnungsnachricht, bereit zum Klicken auf Alle ausführen. Importierte Simulationen verwenden den Testkunden und alle Marken, öffnen Sie eine Simulation, um einen bestimmten Kunden auszuwählen. Tags werden der Eval hinzugefügt, nicht in der CSV-Datei. Beim Import innerhalb eines Releases werden die Simulationen diesem Release hinzugefügt.

Wenn Ihre Zeilen eine bestehende Eval über 50 Simulationen bringen würden, sehen Sie, wie viele noch passen, und können Erste [Anzahl] importieren wählen, um nur diese zu importieren. Werden beim Import Zeilen abgelehnt, wird nichts gespeichert. Jede problematische Zeile wird mit Grund aufgelistet, und Sie können Import ohne diese Zeilen wählen, um den Rest zu importieren.

Tags gruppieren verwandte Evals, damit Sie sie schnell finden, wenn Ihre Suite wächst. Zum Beispiel nach Thema (Rückerstattungen), Team oder Besitzer (Abrechnungsteam), Testtyp (Regression, Eskalat) oder Sprache (Französisch). Eine Eval kann beliebig viele Tags haben.

Um Tags zu sehen und zu erstellen, klicken Sie oben rechts auf der Evals-Seite auf Tags. Das Tag-Panel listet jeden Tag und wie viele Evals ihn verwenden, und Sie können mit dem Suchfeld Tags suchen einen Tag finden.

Um einen Tag umzubenennen oder zu löschen, klicken Sie oben auf der Evals-Seite auf Tags oder wählen Sie Tags verwalten im Tag-Auswahlmenü. Das Panel zeigt, wie viele Evals jeden Tag verwenden. Das Löschen eines Tags entfernt ihn aus allen Evals, auch in Releases.

Eine Scorecard fügt einer Eval eine Qualitätsbewertung hinzu, wie Klarheit oder Effizienz, zusätzlich zu den Bestehen/Nicht-Bestehen-Prüfungen. Um eine hinzuzufügen, öffnen Sie die Eval und klicken oben rechts neben Neue Simulation auf Scorecard hinzufügen. Nach dem Hinzufügen erscheint neben Simulationsergebnisse ein Abschnitt Qualitätsbewertung. Um eine Scorecard zu erstellen, Kriterien hinzuzufügen und die Gewichtung sowie die Kritikalität jedes Kriteriums festzulegen, siehe den Artikel „Wie man eine Scorecard zu einer Eval hinzufügt“.

Um zu sehen, wie Fin bei all Ihren Evals abgeschnitten hat, sehen Sie sich die Zusammenfassung oben unter Test > Evals an. Sie spiegelt das letzte Ausführen jeder Simulation wider und besteht aus zwei Teilen:

Die Zusammenfassung aktualisiert sich mit Ihrer Suche und den Filtern, sodass das Filtern nach einem Tag nur Ergebnisse für diese Evals anzeigt. Um frühere Durchläufe zu vergleichen, öffnen Sie eine Simulation und klicken Sie auf das Dropdown-Menü der Verlaufsläufe neben dem Ergebnis. Es listet jeden Lauf nach Datum mit seinem Ergebnis auf.