Dieser Artikel erklärt, wann Sie die drei Testwerkzeuge von Fin verwenden — Simulationen, Batch-Tests und Previews.
Schnellreferenz: Welches Tool macht was
| Simulationen | Batch-Tests | Previews |
Was es ist | Automatisiertes, KI-gestütztes End-to-End-Testing eines einzelnen Procedure. Die KI agiert als simulierte Kundin und bewertet das Ergebnis anhand von von Ihnen definierten Erfolgskriterien. | Ein Frage-und-Antwort-Testwerkzeug zur Validierung von Fins Antworten über bis zu 50 Fragen gleichzeitig. Testet, wie Fin in Bezug auf Inhalte, Guidance, users, Sprachen und Automatisierungen antwortet. | Ein manuelles, interaktives Testpanel, das in allen Trainingsbereichen von Fin verfügbar ist. Sie tippen Nachrichten ein und sehen Fins Antwort und das Ereignisprotokoll in Echtzeit. |
Am besten geeignet für | Validierung komplexer Procedure-Logik von Anfang bis Ende vor dem Livegang. Erkennen von Regressionen nach Procedure-Updates. Testen von Randfällen und Verzweigungspfaden. | Überprüfung der Inhaltsabdeckung über viele Fragen gleichzeitig. Diagnose von Wissenslücken, Guidance oder Automatisierungen. QA vor dem Start über Zielgruppen, Marken und Sprachen hinweg. | Schnelle manuelle Stichproben während des Aufbaus. Überprüfung, wie sich eine bestimmte Änderung — an Inhalten, Guidance, Attributen, Eskalation oder einem Procedure — in dem Moment auf Fins Antwort auswirkt. |
Funktioniert mit | Nur Procedures. | Alle Kunden, die Fin verwenden — egal ob mit Procedures, Tasks oder nur Wissensinhalten. | Alle Trainingsbereiche von Fin: Content, Guidance, Attributes, Escalation, Procedures und Deploy. |
Testmodus | Automatisiert — KI generiert die Kundenseite des Gesprächs und bewertet das Ergebnis mit einer Bestanden/Nicht Bestanden-Beurteilung. | Automatisiert — Fin generiert eine Antwort auf jede Frage. Sie überprüfen und bewerten die Antworten manuell (Gut / Akzeptabel / Schlecht). | Manuell — Sie tippen die Nachrichten selbst ein und beobachten Fins Antwort und das Ereignisprotokoll. |
Erzeugt es ein echtes Gespräch? | Nein — läuft vollständig im Hintergrund. Es wird kein inbox-Gespräch erstellt. | Nein — nur Simulation. Es werden keine inbox-Gespräche erstellt oder Kundendaten beeinflusst. | Ja — Preview-Gespräche erscheinen in Ihrem inbox, werden aber von der Berichterstattung ausgeschlossen. |
Greift es auf live APIs zu? | Nein — ruft keine live externen APIs (z. B. Shopify, Stripe) auf. Testet nur die Logik. | Nein — Daten-Connectoren verwenden konfigurierte Test-/Beispieldaten. Keine live API-Aufrufe. | Ja — kann auf echte Benutzerdaten und Live-Integrationen zugreifen, wenn als spezifischer user oder Lead getestet wird. |
Speichert & wiederholt | Ja — Simulationen werden gespeichert und können bei jeder Aktualisierung des Procedure erneut ausgeführt werden. Unterstützt "Alle ausführen". | Ja — Testgruppen (bis zu 50 Fragen pro Gruppe) können gespeichert, erneut ausgeführt und mit Teamkollegen geteilt werden. | Nein — einmalige manuelle Gespräche. Werden nicht gespeichert oder wiederholbar. |
Bestanden/Nicht bestanden-Beurteilung | Ja — KI bewertet das Gespräch anhand der Erfolgskriterien und vergibt Bestanden oder Nicht bestanden mit vollständiger Begründung. | Nein — Sie bewerten jede Antwort manuell als Gut, Akzeptabel oder Schlecht und wählen eine Ursache aus. | Nein — keine automatisierte Beurteilung. Sie bewerten das Ergebnis selbst. |
Nutzungsbeschränkungen | Ja — monatliches Ausführungslimit basierend auf dem Gesprächsvolumen des Workspaces (50–2.500/Monat). In Procedures ohne zusätzliche Kosten enthalten. | Kostenlos. Bis zu 50 Fragen pro Testgruppe. | Keine Beschränkungen. |
Verfügbarkeit | Nur Procedures — erfordert verwalteten Verfügbarkeitszugang. | Im Allgemeinen für alle Fin-Kunden mit vollem Sitzplatz und Berechtigung für Alle conversations verfügbar. | Im Allgemeinen für alle Fin-Kunden verfügbar. |
Wann welches Tool verwenden
Verwenden Sie Simulationen, wenn
Sie ein Procedure von Anfang bis Ende validieren müssen, bevor Sie es live schalten.
Sie automatisierte, wiederholbare Tests wünschen, die nach jedem Update Regressionen erkennen.
Ihr Procedure Verzweigungslogik, Bedingungen oder Unterprocedures enthält — und Sie für jeden Pfad einen separaten Testfall benötigen.
Sie möchten, dass die KI das Ergebnis anhand definierter Erfolgskriterien bewertet (Fin-Antwort, Attributwerte, Daten-Connector-Aufrufe, Anweisungsergebnis).
Sie zeitkritische Logik testen müssen (z. B. Rückerstattungsfristen), indem Sie die Simulationszeit und Datenwerte steuern.
Verwenden Sie Batch-Tests, wenn
Sie Fins Antworten über eine breite Fragenauswahl validieren möchten — nicht nur ein Szenario.
Sie eine QA vor dem Start über Inhalte, Guidance, Zielgruppen, Sprachen oder Marken durchführen.
Sie Inhaltslücken diagnostizieren möchten, indem Sie sehen, aus welchen Quellen Fin für jede Antwort zieht.
Sie Fragen testen möchten, die aus echten vergangenen Gesprächen oder KI-Themen generiert wurden.
Sie einen herunterladbaren CSV-Bericht benötigen, um Ergebnisse mit Ihrem Team oder Führungskräften zu teilen.
Verwenden Sie Previews, wenn
Sie aktiv bauen und eine Änderung sofort stichprobenartig überprüfen möchten — an Inhalten, Guidance, einem Attribut, einer Eskalationsregel oder einem Procedure.
Sie manuell ein Gespräch als spezifischer user, Zielgruppe oder in einer bestimmten Sprache durchspielen möchten.
Sie Fins Ereignisprotokoll sehen müssen, um genau zu verstehen, was angewendet wurde (Persönlichkeit, Guidance, Tasks, Inhaltsquellen).
Sie Fin Vision testen möchten, indem Sie ein Bild oder einen Screenshot senden.
Sie einen Procedure-Ablauf validieren und die vollständige inbox-Erfahrung für Kunden und Teammitglieder sehen möchten (einschließlich nachgelagerter Automatisierungen).
FAQs
Was ist der Unterschied zwischen Simulationen und Previews?
Was ist der Unterschied zwischen Simulationen und Previews?
Previews sind manuell und interaktiv: Sie tippen die Nachrichten selbst ein und beobachten Fin in Echtzeit antworten. Sie eignen sich hervorragend für schnelle Stichproben während des Aufbaus.
Simulationen sind automatisiert: Die KI agiert als Kunde, führt das vollständige Gespräch und bewertet das Ergebnis anhand der von Ihnen festgelegten Erfolgskriterien.
Simulationen erzeugen keine inbox-Gespräche; Preview schon. Verwenden Sie Simulationen, wenn Sie Procedure-Logik im großen Maßstab validieren müssen. Verwenden Sie Preview für manuelle Tests im Kontext.
Was ist der Unterschied zwischen Simulationen und Batch-Tests?
Was ist der Unterschied zwischen Simulationen und Batch-Tests?
Batch-Tests prüfen, wie Fin eine breite Fragenauswahl beantwortet — testen Inhaltsabdeckung, Guidance und Automatisierungen über viele Szenarien gleichzeitig. Sie bewerten die Antworten manuell.
Simulationen testen ein einzelnes Procedure von Anfang bis Ende mit automatisierter KI-Beurteilung.
Batch-Tests funktionieren mit allen Fin-Setups. Simulationen sind exklusiv für Procedures.
Was ist der Unterschied zwischen Batch-Tests und Previews?
Was ist der Unterschied zwischen Batch-Tests und Previews?
Batch-Tests sind strukturierte, wiederholbare QA-Durchläufe mit bis zu 50 Fragen — nützlich für Vorabprüfungen und Diagnose von Inhaltslücken.
Previews sind unstrukturiert und manuell — ein Gespräch nach dem anderen, nützlich für sofortiges Feedback während des Aufbaus.
Batch-Test-Ergebnisse werden gespeichert und können als CSV exportiert werden. Preview-Gespräche erscheinen in Ihrem inbox, werden aber nicht als Testläufe gespeichert.
Rufen Simulationen live APIs auf oder beeinflussen sie echte Daten?
Rufen Simulationen live APIs auf oder beeinflussen sie echte Daten?
Nein. Simulationen rufen keine live externen APIs (wie Shopify oder Stripe) auf und beeinflussen keine echten Daten. Sie testen nur die Logik. Wenn Sie mit echten API-Aufrufen testen müssen, verwenden Sie Preview und wählen Sie einen spezifischen user mit echten Daten in deren externem System aus.
Werden mir für Simulationen oder Batch-Tests Kosten berechnet?
Werden mir für Simulationen oder Batch-Tests Kosten berechnet?
Simulationen sind in Procedures ohne zusätzliche Kosten enthalten. Batch-Tests sind ebenfalls kostenlos nutzbar (für Antworten, die durch Batch-Test generiert werden, werden keine Kosten berechnet).
Hinweis: Simulationen haben ein monatliches Ausführungslimit (50–2.500 pro Monat, abhängig vom Gesprächsvolumen), das am ersten Tag jedes Monats zurückgesetzt wird.
Kann ich Batch-Tests verwenden, um ein Procedure zu testen?
Kann ich Batch-Tests verwenden, um ein Procedure zu testen?
Batch-Tests zeigen, ob ein Procedure für eine bestimmte Frage ausgelöst worden wäre, führen das Procedure jedoch nicht aus und bewerten dessen End-to-End-Logik nicht. Für die vollständige Procedure-Validierung (einschließlich Verzweigungen, Daten-Connector-Aufrufen und Anweisungsergebnissen) verwenden Sie Simulationen.
Welches Testwerkzeug sollte ich vor dem Livegang verwenden?
Welches Testwerkzeug sollte ich vor dem Livegang verwenden?
Verwenden Sie alle drei in Kombination: Preview für schnelle manuelle Prüfungen während des Aufbaus; Simulationen zur Validierung der Procedure-Logik von Anfang bis Ende mit automatisierten Bestanden/Nicht Bestanden-Ergebnissen; Batch-Tests zur Bestätigung von Fins Antworten über eine breite Auswahl echter Kundenfragen.
Es wird dringend empfohlen, Simulationen vor jedem Procedure-Start durchzuführen.
Wichtige Fakten zum Merken
Simulationen sind exklusiv für Procedures. Sie können nicht mit Tasks, Workflows oder allgemeinem Content-Testing verwendet werden.
Batch-Tests funktionieren für alle Fin-Kunden — egal ob mit Procedures, Tasks oder nur Wissensinhalten.
Preview-Gespräche erscheinen im inbox, werden aber von der Berichterstattung ausgeschlossen.
Nur Preview kann live APIs aufrufen. Simulationen und Batch-Tests sind sichere, sandboxed Umgebungen.
Das Ausführungslimit für Simulationen gilt pro Workspace, nicht pro Teammitglied, und wird monatlich zurückgesetzt.
Antwortbewertungen in Batch-Tests trainieren Fin nicht — sie dienen nur der menschlichen Überprüfung und Ursachenanalyse.
Wenn ein Test in Simulationen besteht, die Erfolgskriterien aber zu streng sind (z. B. wenn eine bestimmte Frage, die Fin selbst gefunden hat, erforderlich ist), kann der Test trotzdem fehlschlagen. Konzentrieren Sie die Erfolgskriterien auf Ergebnisse, nicht auf Zwischenschritte.