Verwenden Sie diesen Artikel, um die richtige Testmethode für Fin auszuwählen: Evals für End-to-End-Gespräche und Regressionstests, Procedure Simulations für eine einzelne Prozedur, Batch-Tests für Sets von Einzel-Fragen und Vorschauen für schnelle manuelle Prüfungen während des Aufbaus.

Kurzübersicht: Welches Werkzeug macht was

Die folgende Tabelle vergleicht Procedure Simulations, Batch-Tests und Vorschauen. Evals sind das vierte Werkzeug: Sie führen vollständige Multi-Turn-Gespräche gegen die gesamte Fin-Konfiguration durch, bewerten diese automatisch und fungieren als wiederholbare Regressionstestsuite. Evals testen Fin End-to-End, während Procedure Simulations jeweils eine Prozedur testen. Siehe Evals for Fin.

	Simulationen	Batch-Tests	Vorschauen
Was es ist	Automatisiertes, KI-gestütztes End-to-End-Testen einer einzelnen Prozedur. Die KI agiert als simulierte Kundin und bewertet das Ergebnis anhand von von Ihnen definierten Erfolgskriterien.	Ein Frage-Antwort-Testwerkzeug zur Validierung von Fin's Antworten über bis zu 50 Fragen gleichzeitig. Testet, wie Fin über Inhalte, Guidance, users, Sprachen und Automatisierungen antwortet.	Ein manuelles, interaktives Testpanel, das in allen Trainingsbereichen von Fin verfügbar ist. Sie tippen Nachrichten ein und sehen Fin's Antwort und Ereignisprotokoll in Echtzeit.
Am besten geeignet für	Validierung komplexer Prozedur-Logik End-to-End vor dem Livegang. Erkennung von Regressionen nach Prozedur-Updates. Testen von Randfällen und Verzweigungen.	Überprüfung der Inhaltsabdeckung über viele Fragen gleichzeitig. Diagnose von Wissens-, Guidance- oder Automatisierungslücken. QA vor dem Start über Zielgruppen, Marken und Sprachen hinweg.	Schnelle manuelle Stichprobenprüfungen während des Aufbaus. Überprüfung, wie sich eine spezifische Änderung — an Inhalten, Guidance, Attributen, Eskalation oder einer Prozedur — unmittelbar auf Fin's Antwort auswirkt.
Funktioniert mit	Nur Prozeduren.	Alle Kunden, die Fin verwenden — egal ob mit Prozeduren, Tasks oder nur Wissensinhalten.	Alle Trainingsbereiche von Fin: Content, Guidance, Attributes, Escalation, Procedures und Deploy.
Testmodus	Automatisiert — KI generiert die Kundenseite des Gesprächs und bewertet das Ergebnis mit einer Bestanden/Nicht Bestanden-Entscheidung.	Automatisiert — Fin generiert eine Antwort auf jede Frage. Sie überprüfen und bewerten die Antworten manuell (Gut / Akzeptabel / Schlecht).	Manuell — Sie tippen die Nachrichten selbst ein und beobachten Fin's Antwort und Ereignisprotokoll.
Erzeugt es ein echtes Gespräch?	Nein — läuft vollständig im Hintergrund. Es wird kein inbox-Gespräch erstellt.	Nein — nur Simulation. Es werden keine inbox-Gespräche erstellt oder Kundendaten beeinflusst.	Ja — Vorschau-Gespräche erscheinen in Ihrem inbox, werden aber von der Berichterstattung ausgeschlossen.
Greift es auf live APIs zu?	Nein — ruft keine live externen APIs (z. B. Shopify, Stripe) auf. Testet nur die Logik.	Nein — Daten-Connectoren verwenden konfigurierte Test-/Beispieldaten. Keine live API-Aufrufe.	Ja — kann auf echte user-Daten und live Integrationen zugreifen, wenn als spezifischer user oder Lead getestet wird.
Speichert & führt erneut aus	Ja — Simulationen werden gespeichert und können bei jeder Aktualisierung der Prozedur erneut ausgeführt werden. Unterstützt "Alle ausführen".	Ja — Testgruppen (bis zu 50 Fragen pro Gruppe) können gespeichert, erneut ausgeführt und mit Teammitgliedern geteilt werden.	Nein — einmalige manuelle Gespräche. Werden nicht gespeichert oder erneut ausgeführt.
Bestanden/Nicht bestanden-Urteil	Ja — KI bewertet das Gespräch anhand der Erfolgskriterien und vergibt Bestanden oder Nicht Bestanden mit vollständiger Begründung.	Nein — Sie bewerten jede Antwort manuell als Gut, Akzeptabel oder Schlecht und wählen eine Ursache aus.	Nein — keine automatisierte Bewertung. Sie beurteilen das Ergebnis selbst.
Nutzungsgrenzen	Ja — monatliches Ausführungslimit basierend auf dem Gesprächsvolumen des Workspaces (250–12.500/Monat). Inklusive bei Procedures ohne zusätzliche Kosten.	Kostenlos. Bis zu 50 Fragen pro Testgruppe.	Keine Limits.
Verfügbarkeit	Allgemein verfügbar für alle Kunden, die Procedures verwenden.	Verfügbar für bestehende Fin-Kunden mit vollem Sitz und Berechtigung für Alle Gespräche. Ab dem 5. November 2026 werden neue Workspaces keine Batch-Tests mehr sehen und stattdessen Evals verwenden.	Allgemein verfügbar für alle Fin-Kunden.

Wann welches Werkzeug verwenden

Verwenden Sie Evals, wenn

Sie möchten ein vollständiges, mehrstufiges Kundengespräch über alles testen, was Fin zur Beantwortung nutzt: Inhalte, Anleitungen, Eskalationsanweisungen, Fähigkeiten und Procedures.
Sie möchten automatische Bestehen/Nicht-Bestehen-Ergebnisse von von Ihnen definierten Prüfungen (Fin-Antwort, ausgelöste Procedure, aufgerufener Datenconnector, Übergabe) sowie optional eine Qualitätsbewertung mit einer Scorecard.
Sie möchten eine Regressionstest-Suite, die Sie nach jeder Änderung an Fin erneut ausführen oder mit einer Operator Routine planen können.
Sie möchten die Änderungen in einem Release testen, bevor sie live gehen.
Sie möchten ein echtes Gespräch nachstellen, bei dem die Antwort von Fin nicht gut genug war, und es so lange erneut testen, bis es behoben ist.

Erfahren Sie, wie Sie Evals in Evals for Fin einrichten.

Verwenden Sie Procedure Simulations, wenn

Sie eine Procedure von Anfang bis Ende validieren müssen, bevor Sie sie live schalten.
Sie automatisierte, wiederholbare Tests möchten, die nach jedem Update Regressionen erkennen.
Ihre Procedure verzweigt sich, enthält Bedingungen oder Unterprocedures – und Sie benötigen für jeden Pfad einen separaten Testfall.
Sie möchten, dass KI das Ergebnis anhand definierter Erfolgskriterien beurteilt (Fin-Antwort, Attributwerte, Datenconnector-Aufrufe, Ergebnis der Anweisung).
Sie müssen zeitkritische Logik (z. B. Rückerstattungsfristen) testen, indem Sie die Simulationszeit und Datenwerte steuern.

Hinweis: Die Simulationszeit steuert nur das Datum, das Fin für die Logik in einfacher Sprache verwendet. Sie ändert nicht, was eine Python-Code-Bedingung sieht – Code, der datetime.datetime.now() aufruft, liest immer das tatsächliche Systemdatum, unabhängig von der eingestellten Simulationszeit. Um einen codebasierten Datumszweig zu testen, führen Sie die Simulation am tatsächlichen Kalenderdatum aus oder schreiben Sie die Bedingung in einfacher Sprache statt in Code um.

Verwenden Sie Batch-Tests, wenn

Sie die Antworten von Fin über eine breite Fragenauswahl validieren möchten – nicht nur ein Szenario.
Sie eine Vorab-QA über Inhalte, Anleitungen, Zielgruppen, Sprachen oder Marken durchführen.
Sie Inhaltslücken diagnostizieren möchten, indem Sie sehen, aus welchen Quellen Fin für jede Antwort zieht.
Sie Fragen testen möchten, die aus echten vergangenen Gesprächen oder KI-Themen generiert wurden.
Sie einen herunterladbaren CSV-Bericht benötigen, um Ergebnisse mit Ihrem Team oder Führungskräften zu teilen.

Verwenden Sie Previews, wenn

Sie aktiv entwickeln und eine Änderung sofort stichprobenartig überprüfen möchten – an Inhalten, Anleitungen, einem Attribut, einer Eskalationsregel oder einer Procedure.
Sie manuell ein Gespräch als bestimmter Nutzer, Zielgruppe oder in einer bestimmten Sprache durchspielen möchten.
Sie das Ereignisprotokoll von Fin sehen müssen, um genau zu verstehen, was angewendet wurde (Persönlichkeit, Anleitung, Aufgaben, Inhaltsquellen).
Sie Fin Vision testen möchten, indem Sie ein Bild oder einen Screenshot senden.
Sie einen Procedure-Ablauf validieren und das vollständige Kundenerlebnis und die Teamkollegen-inbox-Erfahrung sehen möchten (einschließlich nachgelagerter Automatisierungen).

FAQs

Was ist der Unterschied zwischen Simulations und Previews?

Previews sind manuell und interaktiv: Sie tippen Nachrichten selbst ein und sehen Fin in Echtzeit antworten. Sie eignen sich hervorragend für schnelle Stichproben während der Entwicklung.
Simulations sind automatisiert: KI agiert als Kunde, führt das vollständige Gespräch und bewertet das Ergebnis anhand der von Ihnen festgelegten Erfolgskriterien.
Simulations erzeugen keine inbox-Gespräche; Preview schon. Verwenden Sie Simulations, wenn Sie Procedure-Logik im großen Maßstab validieren müssen. Verwenden Sie Preview für manuelle Tests im Kontext.

Was ist der Unterschied zwischen Simulations und Batch-Tests?

Batch-Tests prüfen, wie Fin eine breite Fragenauswahl beantwortet – testen Inhaltsabdeckung, Anleitungen und Automatisierungen über viele Szenarien gleichzeitig. Sie bewerten Antworten manuell.
Simulations testen eine einzelne Procedure von Anfang bis Ende mit automatisierter KI-Bewertung.
Batch-Tests funktionieren mit allen Fin-Konfigurationen. Simulations sind exklusiv für Procedures.

Was ist der Unterschied zwischen Batch-Tests und Previews?

Batch-Tests sind strukturierte, wiederholbare QA-Durchläufe mit bis zu 50 Fragen – nützlich für Vorabprüfungen und zur Diagnose von Inhaltslücken.
Previews sind unstrukturiert und manuell – ein Gespräch nach dem anderen, nützlich für sofortiges Feedback während der Entwicklung.
Batch-Test-Ergebnisse werden gespeichert und können als CSV exportiert werden. Preview-Gespräche erscheinen in Ihrer inbox, werden aber nicht als Testläufe gespeichert.

Rufen Simulations Live-APIs auf oder beeinflussen sie echte Daten?

Nein. Simulations rufen keine externen Live-APIs (wie Shopify oder Stripe) auf und beeinflussen keine echten Daten. Sie testen nur Logik. Wenn Sie mit echten API-Aufrufen testen müssen, verwenden Sie Preview und wählen Sie einen bestimmten Nutzer mit echten Daten in deren externem System.

Werden mir Simulations oder Batch-Tests berechnet?

Simulations sind bei Procedures ohne zusätzliche Kosten enthalten. Batch-Tests sind ebenfalls kostenlos nutzbar (für Antworten, die durch Batch-Test generiert werden, fallen keine Kosten an).

Hinweis: Simulations haben ein monatliches Ausführungslimit (250–12.500 pro Monat, abhängig vom Gesprächsvolumen), das am ersten Tag jedes Monats zurückgesetzt wird.

Kann ich Batch-Tests verwenden, um eine Procedure zu testen?

Batch-Tests zeigen, ob eine Procedure für eine bestimmte Frage ausgelöst worden wäre, führen die Procedure aber nicht aus und bewerten deren End-to-End-Logik nicht. Für vollständige Procedure-Validierung (einschließlich Verzweigungen, Datenconnector-Aufrufen und Anweisungsergebnissen) verwenden Sie Simulations.

Welches Testwerkzeug sollte ich vor dem Livegang verwenden?

Verwenden Sie die Werkzeuge in Kombination vor dem Livegang: Preview für schnelle manuelle Prüfungen während der Entwicklung, Procedure Simulations zur Validierung der Logik jeder Procedure mit automatischen Bestehen/Nicht-Bestehen-Ergebnissen und Evals, um sicherzustellen, dass Fins vollständige Konfiguration Ihre wichtigsten Kundengespräche von Anfang bis Ende abdeckt. Batch-Tests bleiben für Einzel-Fragen-Prüfungen verfügbar.

Es wird dringend empfohlen, Simulations vor jedem Procedure-Start durchzuführen.

Was ist der Unterschied zwischen Evals und Simulations?

Simulations testen eine Procedure. Jede Procedure-Simulation läuft innerhalb der Grenzen dieser Procedure, daher ist es das richtige Werkzeug, während Sie eine Procedure entwickeln und um zu prüfen, ob sie nach Änderungen noch funktioniert.
Evals testen Fin End-to-End. Eine Eval-Simulation führt ein vollständiges Gespräch über alles, was Fin zur Beantwortung nutzt, einschließlich dessen, was vor dem Auslösen einer Procedure passiert und nachdem sie übergeben wurde. Evals spielen auch echte Gespräche erneut ab und laufen als Regressionstest-Suite nach jeder Änderung an Fin.
Verwenden Sie beides: Procedure Simulations beim Erstellen einer Procedure und dann eine Eval, um die gesamte Customer Journey abzudecken, sobald sie live ist. Siehe Evals for Fin.

Soll ich Evals oder Batch tests verwenden?

Evals machen alles, was Batch tests tun, und mehr. Batch tests prüfen Einzel-Fragen, die Sie manuell bewerten. Evals führen vollständige Multi-Turn-Gespräche durch, bewerten sie automatisch anhand Ihrer definierten Prüfungen und können als Regressionstest-Suite erneut ausgeführt werden. Wenn Sie heute Batch tests verwenden, importieren Sie Ihre Fragen mit CSV-Import in eine Eval oder bitten Sie Operator, die Eval für Sie zu erstellen.

Wichtige Fakten zum Merken

Simulations sind exklusiv für Procedures. Sie können nicht mit Tasks, Workflows oder allgemeinen Inhaltstests verwendet werden.
Batch tests sind für bestehende Fin-Kunden verfügbar – egal ob sie Procedures, Tasks oder nur Wissensinhalte verwenden.
Vorschau-Gespräche erscheinen im inbox, werden aber von der Berichterstattung ausgeschlossen.
Nur Preview kann live APIs ansprechen. Simulations und Batch tests sind sichere, sandboxed Umgebungen.
Die Simulations-Laufgrenzen gelten pro Workspace, nicht pro Teammitglied, und werden monatlich zurückgesetzt.
Antwortbewertungen in Batch test trainieren Fin nicht – sie dienen nur der menschlichen Überprüfung und Ursachenanalyse.
In Simulations kann ein Test trotz Bestehens scheitern, wenn die Erfolgskriterien zu streng sind (z. B. wenn eine bestimmte Frage, die Fin selbst gefunden hat, verlangt wird). Konzentrieren Sie die Erfolgskriterien auf Ergebnisse, nicht auf Zwischenschritte.
Evals testen die gesamte Fin-Konfiguration in einem Multi-Turn-Gespräch, einschließlich Procedures, Inhalt, Anleitung, Eskalationsanleitung und Skills. Verwenden Sie sie als Regressionstest-Suite nach jeder Änderung an Fin.

Simulationen vs. Batch-Tests vs. Vorschauen