Verwenden Sie Evals, um realistische Testgespräche zu erstellen, diese gegen Ihre Fin-Konfiguration auszuführen und automatische Bestehen/Nicht-Bestehen-Ergebnisse zu erhalten, bevor eine Änderung einen echten Kunden erreicht. Führen Sie dieselben Tests erneut aus, wann immer Sie eine Änderung vornehmen, um zu überprüfen, dass Fin sich weiterhin wie erwartet verhält.

Evals basieren auf zwei Konzepten:

Evals sind thematische Testgruppen, wie „Rückerstattungsanfragen“, „Eskalationsszenarien“ oder „Ton und Freundlichkeit“.
Simulationen sind die einzelnen Tests innerhalb eines Evals. Jede ist ein realistisches, mehrstufiges Gespräch zwischen einem simulierten Kunden und Fin, zusammen mit den Prüfungen, anhand derer Fins Verhalten bewertet wird.

Wenn Sie ein Eval ausführen, wird jede Simulation darin automatisch ausgeführt und erhält ein Bestehen/Nicht-Bestehen-Ergebnis. Ein LLM (Large Language Model) bewertet jede Simulation anhand der von Ihnen festgelegten Prüfungen.

Ein Eval namens Fin simulations in Fin AI Agent > Test > Evals. Oben werden Simulationsergebnisse (1/3 bestanden) und eine Qualitätsbewertung mit einer Punktzahl für jedes Kriterium angezeigt. Darunter listet eine Tabelle drei simulierte Gespräche mit den Spalten Letzter Lauf, Ergebnis (Bestanden oder Nicht Bestanden) und Bewertungsnote sowie eine Schaltfläche Alle ausführen auf.

Hinweis: Um Evals zu erstellen, zu bearbeiten oder auszuführen, benötigen Sie Kann Konfiguration ansehen und Änderungen in einem Entwurf-Release vorschlagen oder Kann Konfiguration ansehen und Änderungen direkt im Hauptzweig veröffentlichen (einzeln oder in einem Release) unter Fin AI Agent & Automation. Teammitglieder mit Kann Konfiguration ansehen können Evals und deren Ergebnisse sehen.

Erste Schritte mit Evals:

So verwalten Sie Ihre Evals: finden, filtern, taggen und erstellen Sie Evals und importieren Sie Simulationen aus einer CSV-Datei.
Simulationen für Evals einrichten: wählen Sie den simulierten Kunden, die Daten, die Fin sieht, und die Prüfungen, nach denen Fin bewertet wird, oder erstellen Sie eine Simulation aus einem echten Gespräch.
So führen Sie Evals aus und lesen die Ergebnisse: führen Sie Simulationen aus, verstehen Sie jedes Ergebnis und testen Sie in anderen Sprachen.
So fügen Sie einem Eval eine Bewertungsmatrix hinzu: bewerten Sie die Qualität von Fins Antworten sowie Bestehen oder Nicht-Bestehen.
Erstellen und führen Sie Evals mit Operator aus: lassen Sie Operator Evals für Sie erstellen, ausführen, analysieren und planen.

Um einem Eval eine Bewertungsmatrix hinzuzufügen, öffnen Sie die Einstellungen des Evals und wählen Sie eine aus dem Dropdown Qualitätsbewertung oder klicken Sie auf Neue Bewertungsmatrix erstellen.

Das Einstellungsfenster des Evals auf der Evals-Seite mit einem Namensfeld und geöffnetem Dropdown für Qualitätsbewertung. Das Dropdown listet Keine Bewertungsmatrix (ausgewählt), Fin quality (Evals), Fin Quality Scorecard, Fin quality auto-review, Fin quality manual review, Teammate auto-review und eine Option Neue Bewertungsmatrix erstellen auf.

Wann sollten Sie Evals verwenden?

Verwenden Sie ein Eval, wann immer Sie Vertrauen in das Verhalten von Fin haben möchten:

Vor dem Versand einer Änderung: an Inhalten, Anleitungen, Verfahren oder allem anderen in Fins Konfiguration.
Während der Arbeit an einem Release: um die Änderungen in Ihrem Release gemeinsam zu testen, bevor sie live gehen.
Nach einer Fehlerbehebung: um zu bestätigen, dass Sie das Problem gelöst haben, das Sie beheben wollten.
Laufend: um Ihre wichtigsten Evals als Regressionstest-Suite erneut auszuführen und unerwartete Änderungen zu erkennen, bevor Kunden sie bemerken.
Vor dem Livegang mit Fin: um zu prüfen, ob Ihre Konfiguration wie erwartet funktioniert, bevor Kunden zum ersten Mal mit Fin sprechen.

Wie man ein Release mit Evals testet

Wenn Sie an Änderungen für Fin in einem Release arbeiten, führen Sie Ihre Evals gegen diese Änderungen aus, bevor sie live gehen. Fin antwortet mit der Version Ihres Inhalts, Ihrer Anleitungen, Verfahren und Skills aus dem Release, sodass Sie sehen können, wie Ihre Änderungen funktionieren, ohne Kunden zu beeinflussen.

Öffnen Sie Ihr Release und gehen Sie zum Tab Evals.
Um ein Eval nur für dieses Release zu erstellen, klicken Sie auf Eval hinzufügen und dann auf Neues Eval. Es erscheint unter In diesem Release hinzugefügt.
Um nach Regressionen zu suchen, klicken Sie bei einem Ihrer bestehenden Evals auf Eval ausführen. Der Tab zeigt, wie viele Ihrer Evals gegen das Release ausgeführt wurden (zum Beispiel 3/5 ausgeführt).

Beachten Sie beim Testen eines Releases mit Evals folgende Punkte:

Neue Evals und Simulationen, die Sie innerhalb eines Releases erstellen, erscheinen nicht in Ihren Live-Evals, bis das Release zusammengeführt wird.
Ergebnisse werden für jedes Release separat gespeichert. Läufe innerhalb eines Releases ändern nicht die Ergebnisse, die Sie in Main Fin sehen.
Wenn Sie das Release nach dem Ausführen eines Evals ändern, werden die Ergebnisse als veraltet markiert. Führen Sie das Eval erneut aus.
Innerhalb eines Releases können Sie bestehende Evals nicht umbenennen oder löschen oder eine Bewertungsmatrix bearbeiten.
Tags werden nicht in einem Release gespeichert. Tag-Änderungen, die Sie innerhalb eines Releases vornehmen, gelten sofort für Ihre Live-Evals.
Das Ausführen von Evals ist keine Voraussetzung für das Zusammenführen eines Releases, wird aber dringend empfohlen.

Welches Testwerkzeug sollte ich verwenden?

Verwenden Sie diese Tabelle, um zwischen Evals, Procedure Simulations und Batch Test zu wählen.

	Evals	Procedure Simulations	Batch Test
Tests	Die gesamte Fin-Konfiguration, von Anfang bis Ende	Ein einzelnes Verfahren	Einzelne Fragen
Gesprächstyp	Mehrstufig	Mehrstufig, innerhalb eines Verfahrens	Einzelstufig
Bewertung	Automatisch, durch den LLM-Juror, plus optionale Bewertungsmatrizen	Automatisch, anhand von Erfolgs- und Ergebnis-Kriterien	Manuell (Gut, Akzeptabel oder Schlecht)
Am besten geeignet für	Regressionstests und komplette Kundenreisen	Aufbau und Prüfung eines Verfahrens	Schnelle Informationsprüfungen

Verwenden Sie Procedure Simulations, während Sie ein Verfahren erstellen, um zu prüfen, ob es eigenständig korrekt funktioniert.
Verwenden Sie Evals, sobald dieses Verfahren live ist, um das gesamte Gespräch zu testen, einschließlich wie es mit Ihren Inhalten, Anleitungen, Datenverbindungen und Übergaben funktioniert.
Wenn Sie heute Batch Test verwenden, beginnen Sie damit, äquivalente Szenarien als Evals zu erstellen. Sie können Ihre Batch Test-Fragen in eine CSV-Datei exportieren und als Simulationen importieren.

Hinweis: Ab dem 5. November 2026 werden neue Arbeitsbereiche Batch Test nicht mehr in der linken Navigation sehen. Wenn Sie Batch Test bereits verwenden, ist es weiterhin verfügbar.

Was sind die Nutzungsgrenzen für Simulationen?

Es gibt ein monatliches Limit für die Anzahl der Simulationen, die Sie in Evals ausführen können. Das Limit gilt für Ihren gesamten Arbeitsbereich und wird am ersten Tag jedes Kalendermonats zurückgesetzt. Ihr Kontingent basiert auf den Gesprächen Ihres Arbeitsbereichs in den letzten 30 Tagen und wird jeden Monat neu überprüft.

Gesprächsvolumen	Simulationen pro Monat
Unter 1K	250
1K–15K	1.000
15K–100K	1.750
100K–1M	5.000
1M+	12.500

Jeder Simulationslauf zählt, sobald er startet, einschließlich Läufen, die Sie vorzeitig abbrechen. Wenn Sie Ihr Limit erreichen, sehen Sie „Sie haben Ihr monatliches Simulationslimit erreicht“ und können keine weiteren Simulationen bis zum nächsten Monat ausführen. Wenn Sie nahe an Ihrem Limit auf Alle ausführen klicken, werden die Simulationen, die in Ihr Kontingent passen, ausgeführt, der Rest startet nicht.

Was sind die aktuellen Einschränkungen von Evals?

Bis zu 50 Simulationen pro Eval und bis zu 50 Zeilen pro CSV-Import.
Tags gelten nur für Evals. Sie können einzelne Simulationen nicht taggen oder alle Evals mit einem Tag auf einmal ausführen.
Keine Benachrichtigungen. Sie werden nicht benachrichtigt, wenn ein Lauf beendet ist.
Keine Anmerkungen von Prüfern bisher. Es gibt keine Möglichkeit zu vermerken, ob ein Prüfer einem Ergebnis zustimmt oder nicht.
Keine vorgefertigten Vorlagen bisher. Häufige Testkategorien wie Prompt Injection haben keinen fertigen Ausgangspunkt.
Workflows werden nicht simuliert. Eine Übergabeprüfung kann bestätigen, dass Fin ein Gespräch an einen Workflow übergibt, aber Evals simulieren nicht, was der Workflow danach macht.

Evals FAQs

Brauche ich Operator, um Evals zu verwenden?

Sie benötigen Operator nicht, um Evals zu verwenden: Jeder Fin-Kunde kann Evals unter Fin AI Agent > Test > Evals erstellen und ausführen. Operator ist Teil des Pro-Add-ons und kann Evals für Sie erstellen, ausführen, analysieren und planen.

Wie lange dauert es, ein Eval auszuführen?

Ein Eval dauert Minuten statt Sekunden, da jede Simulation ein vollständiges mehrstufiges Gespräch ist, gefolgt von der Bewertung. Läufe werden im Hintergrund fortgesetzt, sodass Sie die Seite verlassen und später die Ergebnisse ansehen können.

Warum ist meine Simulation fehlgeschlagen, obwohl Fins Antwort richtig aussah?

Eine Simulation kann fehlschlagen, auch wenn Fins Antwort richtig aussieht, wenn Sie keine Übergabeprüfung festgelegt haben. In diesem Fall wird die Simulation gegen eine Standardprüfung Keine Übergabe bewertet und schlägt fehl, wenn Fin übergibt.

Kann ich Evals automatisch planen?

Sie können Evals mit einer Operator-Routine automatisch planen. Der Artikel „Erstellen und Ausführen von Evals mit Operator“ erklärt, wie.

Evals erklärt