Verwenden Sie diesen Artikel, um die richtige Testmethode für Fin auszuwählen: Evals für End-to-End-Gespräche und Regressionstests, Procedure Simulations für eine einzelne Prozedur, Batch-Tests für Sets von Einzel-Fragen und Vorschauen für schnelle manuelle Prüfungen während des Aufbaus.

Kurzübersicht: Welches Tool macht was

Die folgende Tabelle vergleicht die vier Testmethoden für Fin. Evals testen Fin End-to-End, während Procedure Simulations jeweils eine Prozedur testen. Siehe Evals for Fin.

	Evals	Procedure Simulations	Batch tests	Previews
Was es ist	Automatisiertes End-to-End-Testen der gesamten Fin-Konfiguration. Jede Simulation in einem Eval ist ein mehrstufiges Gespräch zwischen einem simulierten Kunden und Fin, bewertet anhand von von Ihnen festgelegten Prüfungen.	Automatisiertes, KI-gestütztes End-to-End-Testen einer einzelnen Prozedur. Die KI agiert als simulierte Kundin und bewertet das Ergebnis anhand von von Ihnen definierten Erfolgskriterien.	Ein Frage-Antwort-Testwerkzeug zur Validierung von Fin-Antworten über bis zu 50 Fragen gleichzeitig. Testet, wie Fin auf Inhalte, Guidance, users, Sprachen und Automatisierungen antwortet.	Ein manuelles, interaktives Testpanel, das in allen Trainingsbereichen von Fin verfügbar ist. Sie tippen Nachrichten ein und sehen Fin's Antwort und Ereignisprotokoll in Echtzeit.
Am besten geeignet für	Regressionstests nach jeder Änderung an Fin. Testen kompletter Kundenreisen, einschließlich was passiert, bevor eine Prozedur ausgelöst wird und nachdem sie übergeben wurde. Testen der Änderungen in einem Release vor dem Livegang.	Validierung komplexer Prozedur-Logik End-to-End vor dem Livegang. Erkennen von Regressionen nach Prozedur-Updates. Testen von Randfällen und Verzweigungen.	Überprüfung der Inhaltsabdeckung über viele Fragen gleichzeitig. Diagnose von Wissens-, Guidance- oder Automatisierungslücken. QA vor dem Start über Zielgruppen, Marken und Sprachen hinweg.	Schnelle manuelle Stichprobenprüfungen während des Aufbaus. Überprüfung, wie sich eine spezifische Änderung — an Inhalten, Guidance, Attributen, Eskalation oder einer Prozedur — unmittelbar auf Fin's Antwort auswirkt.
Funktioniert mit	Alles, was Fin zur Beantwortung nutzt: Inhalte, Guidance, Eskalations-Guidance, Skills und Prozeduren.	Eine einzelne Prozedur. Für Simulationen über die gesamte Fin-Konfiguration verwenden Sie Eval-Simulationen. Fin for Sales hat eigene Simulationen.	Alle Kunden, die Fin nutzen — egal ob mit Prozeduren, Tasks oder nur Wissensinhalten.	Alle Trainingsbereiche von Fin: Content, Guidance, Attribute, Eskalation, Prozeduren und Deploy.
Testmodus	Automatisiert — KI erzeugt die Kundenseite des Gesprächs und ein LLM-Juror bewertet das Ergebnis. Optionale Scorecards bewerten auch die Antwortqualität.	Automatisiert — KI erzeugt die Kundenseite des Gesprächs und bewertet das Ergebnis mit einer Bestehen/Nicht-Bestehen-Entscheidung.	Automatisiert — Fin generiert eine Antwort auf jede Frage. Sie überprüfen und bewerten die Antworten manuell (Gut / Akzeptabel / Schlecht).	Manuell — Sie tippen die Nachrichten selbst und beobachten Fin's Antwort und Ereignisprotokoll.
Erzeugt ein echtes Gespräch?	Nein — Simulationen laufen innerhalb von Evals und erreichen niemals einen Kunden.	Nein — läuft vollständig im Hintergrund. Es wird kein inbox-Gespräch erstellt.	Nein — nur Simulation. Es werden keine inbox-Gespräche erstellt oder Kundendaten beeinflusst.	Ja — Vorschau-Gespräche erscheinen in Ihrem inbox, werden aber von der Berichterstattung ausgeschlossen.
Greift auf Live-APIs zu?	Nein — Daten-Connectoren liefern immer ihre gespeicherte Testantwort, niemals Live-Daten.	Nein — ruft keine Live-externen APIs (z. B. Shopify, Stripe) auf. Testet nur Logik.	Nein — Daten-Connectoren verwenden konfigurierte Test-/Beispiel-Payloads. Keine Live-API-Aufrufe.	Ja — kann auf echte Benutzerdaten und Live-Integrationen zugreifen, wenn als spezifischer user oder Lead getestet wird.
Speichert & führt erneut aus	Ja — Evals werden gespeichert und können als Regressionstest-Suite erneut ausgeführt oder mit einer Operator-Routine geplant werden. Bis zu 50 Simulationen pro Eval.	Ja — Simulationen werden gespeichert und können bei jeder Aktualisierung der Prozedur erneut ausgeführt werden. Unterstützt "Alle ausführen".	Ja — Testgruppen (jeweils bis zu 50 Fragen) können gespeichert, erneut ausgeführt und mit Teamkollegen geteilt werden.	Nein — einmalige manuelle Gespräche. Nicht gespeichert oder erneut ausführbar.
Bestehen/Nicht-Bestehen-Urteil	Ja — der LLM-Juror vergibt für jede Simulation automatisch Bestehen oder Nicht-Bestehen.	Ja — KI bewertet das Gespräch anhand von Erfolgskriterien und vergibt Bestehen oder Nicht-Bestehen mit vollständiger Begründung.	Nein — Sie bewerten jede Antwort manuell als Gut, Akzeptabel oder Schlecht und wählen eine Ursache aus.	Nein — keine automatisierte Bewertung. Sie beurteilen das Ergebnis selbst.
Nutzungsbeschränkungen	Ja – teilt eine monatliche Zulage mit Procedure Simulations, basierend auf dem Volumen der Workspace-Konversationen (250–12.500/Monat), die am ersten Tag jedes Monats zurückgesetzt wird.	Ja – teilt eine monatliche Zulage mit Evals, basierend auf dem Volumen der Workspace-Konversationen (250–12.500/Monat). In Procedures ohne zusätzliche Kosten enthalten.	Keine Gebühr. Bis zu 50 Fragen pro Testgruppe.	Keine Begrenzungen.
Verfügbarkeit	Für jeden Fin-Kunden verfügbar. Kein Beta- oder Zugriffsantrag erforderlich.	Im Allgemeinen für alle Kunden verfügbar, die Procedures verwenden.	Verfügbar für bestehende Fin-Kunden mit einem Vollplatz und der Berechtigung „Alle Konversationen“. Ab dem 5. November 2026 werden neue Workspaces keine Batch-Tests mehr sehen und stattdessen Evals verwenden.	Im Allgemeinen für alle Fin-Kunden verfügbar.

Wann welches Tool verwenden

Verwenden Sie Evals, wenn

Sie eine vollständige, mehrstufige Kundenkonversation über alles testen möchten, was Fin zur Beantwortung nutzt: Inhalte, Anleitungen, Eskalationsanleitungen, Fähigkeiten und Procedures.
Sie automatische Bestehen/Nicht-Bestehen-Ergebnisse aus von Ihnen definierten Prüfungen wünschen (Fin-Antwort, ausgelöste Procedure, aufgerufener Datenconnector, Übergabe) sowie optional eine Qualitätsbewertung mit einer Scorecard.
Sie eine Regressionstest-Suite wünschen, die Sie nach jeder Änderung an Fin erneut ausführen oder mit einer Operator Routine planen können.
Sie die Änderungen in einem Release testen möchten, bevor sie live gehen.
Sie eine reale Konversation nachstellen möchten, bei der die Antwort von Fin nicht ausreichend war, und diese so lange erneut testen möchten, bis sie behoben ist.

Erfahren Sie, wie Sie Evals in Evals for Fin einrichten.

Verwenden Sie Procedure Simulations, wenn

Sie eine Procedure von Anfang bis Ende validieren müssen, bevor Sie sie live schalten.
Sie automatisierte, wiederholbare Tests wünschen, die nach jedem Update Regressionen erkennen.
Ihre Procedure Verzweigungslogik, Bedingungen oder Unterprocedures enthält – und Sie für jeden Pfad einen separaten Testfall benötigen.
Sie möchten, dass KI das Ergebnis anhand definierter Erfolgskriterien beurteilt (Fin-Antwort, Attributwerte, Datenconnector-Aufrufe, Anweisungsergebnis).
Sie zeitkritische Logik testen müssen (z. B. Rückerstattungsfristen), indem Sie die Simulationszeit und Datenwerte steuern.

Hinweis: Die Simulationszeit steuert nur das Datum, das Fins eigene Logik für natürliche Sprachdatumsangaben verwendet. Sie ändert nicht, was eine Python-Code-Bedingung sieht – Code, der datetime.datetime.now() aufruft, liest immer das reale Systemdatum, unabhängig von der eingestellten Simulationszeit. Um einen codebasierten Datumszweig zu testen, führen Sie die Simulation am tatsächlichen Kalenderdatum aus oder schreiben Sie die Bedingung in natürlicher Sprache statt in Code um.

Verwenden Sie Batch-Tests, wenn

Sie Fins Antworten über eine breite Fragenauswahl validieren möchten – nicht nur ein Szenario.
Sie eine Vorab-QA über Inhalte, Anleitungen, Zielgruppen, Sprachen oder Marken durchführen.
Sie Inhaltslücken diagnostizieren möchten, indem Sie sehen, aus welchen Quellen Fin für jede Antwort zieht.
Sie Fragen testen möchten, die aus echten vergangenen Konversationen oder KI-Themen generiert wurden.
Sie einen herunterladbaren CSV-Bericht benötigen, um Ergebnisse mit Ihrem Team oder Führungskräften zu teilen.

Verwenden Sie Previews, wenn

Sie aktiv entwickeln und eine Änderung sofort überprüfen möchten – an Inhalten, Anleitungen, einem Attribut, einer Eskalationsregel oder einer Procedure.
Sie manuell eine Konversation als bestimmter Nutzer, Zielgruppe oder in einer bestimmten Sprache durchspielen möchten.
Sie Fins Ereignisprotokoll sehen müssen, um genau zu verstehen, was angewendet wurde (Persönlichkeit, Anleitung, Aufgaben, Inhaltsquellen).
Sie Fin Vision testen möchten, indem Sie ein Bild oder einen Screenshot senden.
Sie einen Procedure-Ablauf validieren und die vollständige Kunden- und Team-inbox-Erfahrung sehen möchten (einschließlich nachgelagerter Automatisierungen).

FAQs

Was ist der Unterschied zwischen Simulations und Previews?

Previews sind manuell und interaktiv: Sie tippen Nachrichten selbst und sehen Fin in Echtzeit antworten. Sie eignen sich hervorragend für schnelle Stichproben während der Entwicklung.
Simulations sind automatisiert: KI agiert als Kunde, führt die vollständige Konversation durch und beurteilt das Ergebnis anhand von Erfolgskriterien, die Sie festlegen.
Simulations erzeugen keine inbox-Konversationen; Preview schon. Verwenden Sie Simulations, wenn Sie Procedure-Logik im großen Maßstab validieren müssen. Verwenden Sie Preview für manuelle Tests im Kontext.

Was ist der Unterschied zwischen Simulations und Batch-Tests?

Batch-Tests prüfen, wie Fin eine breite Fragenauswahl beantwortet – testen Inhaltsabdeckung, Anleitungen und Automatisierungen über viele Szenarien gleichzeitig. Sie bewerten Antworten manuell.
Simulations testen eine einzelne Procedure von Anfang bis Ende mit automatisierter KI-Beurteilung.
Batch-Tests funktionieren mit allen Fin-Konfigurationen. Procedure Simulations sind exklusiv für Procedures.

Was ist der Unterschied zwischen Batch-Tests und Previews?

Batch-Tests sind strukturierte, wiederholbare QA-Durchläufe mit bis zu 50 Fragen – nützlich für Vorabprüfungen und zur Diagnose von Inhaltslücken.
Previews sind unstrukturiert und manuell – eine Konversation nach der anderen, nützlich für sofortiges Feedback während der Entwicklung.
Batch-Test-Ergebnisse werden gespeichert und können als CSV exportiert werden. Preview-Konversationen erscheinen in Ihrem inbox, werden aber nicht als Testläufe gespeichert.

Rufen Simulations Live-APIs auf oder beeinflussen sie reale Daten?

Nein. Simulations rufen keine Live-externen APIs (wie Shopify oder Stripe) auf und beeinflussen keine echten Daten. Sie testen nur die Logik. Wenn Sie mit echten API-Aufrufen testen müssen, verwenden Sie Preview und wählen Sie einen bestimmten Benutzer mit echten Daten in seinem externen System aus.

Werde ich für Simulations oder Batch tests belastet?

Simulations sind bei Procedures ohne zusätzliche Kosten enthalten. Batch tests sind ebenfalls kostenlos nutzbar (Sie werden nicht für Antworten, die durch Batch test generiert werden, belastet).

Hinweis: Simulations haben ein monatliches Ausführungslimit (250–12.500 pro Monat, abhängig vom Gesprächsvolumen), das am ersten Tag jedes Monats zurückgesetzt wird. Eval simulations und Procedure Simulations zählen zum gleichen Kontingent. Fin für Sales simulations und geplante Ausführungen zählen nicht dazu.

Kann ich Batch tests verwenden, um eine Procedure zu testen?

Batch tests zeigen, ob eine Procedure für eine bestimmte Frage ausgelöst worden wäre, führen die Procedure jedoch nicht aus und bewerten deren End-to-End-Logik nicht. Für eine vollständige Procedure-Validierung (einschließlich Verzweigungen, Datenconnector-Aufrufen und Anweisungsergebnissen) verwenden Sie Simulations.

Welches Testwerkzeug sollte ich vor dem Livegang verwenden?

Verwenden Sie die Werkzeuge in Kombination vor dem Livegang: Preview für schnelle manuelle Prüfungen während des Aufbaus, Procedure Simulations zur Validierung der Logik jeder Procedure mit automatischen Bestehen/Nicht-Bestehen-Ergebnissen und Evals, um zu bestätigen, dass Fin's vollständige Konfiguration Ihre wichtigsten Kundengespräche von Anfang bis Ende abdeckt. Batch tests bleiben für Einzel-Fragen-Prüfungen verfügbar.

Es wird dringend empfohlen, vor jedem Procedure-Start Simulations durchzuführen.

Was ist der Unterschied zwischen Evals und Simulations?

Simulations testen eine Procedure. Jede Procedure Simulation läuft innerhalb der Grenzen dieser Procedure, daher ist es das richtige Werkzeug während des Aufbaus einer Procedure und um zu prüfen, ob sie nach Änderungen noch funktioniert.
Evals testen Fin end to end. Eine Eval Simulation führt ein vollständiges Gespräch über alles, was Fin zur Beantwortung nutzt, einschließlich dessen, was vor dem Auslösen einer Procedure und nach deren Übergabe passiert. Evals spielen auch echte Gespräche erneut ab und laufen als Regressionstest-Suite nach jeder Änderung an Fin.
Verwenden Sie beide: Procedure Simulations während des Aufbaus einer Procedure, dann eine Eval, um die gesamte Kundenreise abzudecken, sobald sie live ist. Siehe Evals for Fin.

Sollte ich Evals oder Batch tests verwenden?

Evals machen alles, was Batch tests tun, und mehr. Batch tests prüfen Einzel-Fragen, die Sie manuell bewerten. Evals führen vollständige Mehrfach-Gespräche durch, bewerten sie automatisch anhand von definierten Prüfungen und können als Regressionstest-Suite erneut ausgeführt werden. Wenn Sie heute Batch tests verwenden, importieren Sie Ihre Fragen mit CSV-Import in eine Eval oder bitten Sie Operator, die Eval für Sie zu erstellen.

Wichtige Fakten zum Merken

Procedure Simulations sind exklusiv für Procedures. Sie können nicht mit Tasks, Workflows oder allgemeinen Inhaltstests verwendet werden. Um vollständige Gespräche über die gesamte Fin-Konfiguration zu simulieren, verwenden Sie Eval Simulations. Fin für Sales hat eigene Simulations.
Batch tests sind für bestehende Fin-Kunden verfügbar – egal ob sie Procedures, Tasks oder nur Wissensinhalte verwenden.
Preview-Gespräche erscheinen im inbox, werden aber von Berichten ausgeschlossen.
Nur Preview kann Live-APIs ansprechen. Simulations und Batch tests sind sichere, sandboxed Umgebungen.
Simulation-Ausführungslimits gelten pro Workspace, nicht pro Teammitglied, und werden monatlich zurückgesetzt.
Antwortbewertungen in Batch test trainieren Fin nicht – sie dienen nur der menschlichen Überprüfung und Ursachenanalyse.
In Simulations kann ein Test trotz Bestehen scheitern, wenn die Erfolgskriterien zu streng sind (z. B. wenn eine bestimmte Frage, die Fin selbst gefunden hat, verlangt wird). Konzentrieren Sie Erfolgskriterien auf Ergebnisse, nicht auf Zwischenschritte.
Evals testen die gesamte Fin-Konfiguration in einem Mehrfach-Gespräch, einschließlich Procedures, Inhalt, Anleitung, Eskalationsanleitung und Fähigkeiten. Verwenden Sie sie als Regressionstest-Suite nach jeder Änderung an Fin.

Evals vs. Simulationen vs. Batch-Tests vs. Vorschauen