Dieser Artikel erklärt, wann Sie die drei Testwerkzeuge von Fin verwenden — Simulationen, Batch-Tests und Previews.
Schnellreferenz: Welches Tool macht was
| Simulationen | Batch-Tests | Previews |
Was es ist | Automatisiertes, KI-gestütztes End-to-End-Testing eines einzelnen Verfahrens. Die KI agiert als simulierte Kundin und bewertet das Ergebnis anhand von von Ihnen definierten Erfolgskriterien. | Ein Frage-Antwort-Testwerkzeug zur Validierung von Fin's Antworten über bis zu 50 Fragen gleichzeitig. Testet, wie Fin über Inhalte, Anleitungen, users, Sprachen und Automatisierungen antwortet. | Ein manuelles, interaktives Testpanel, das in allen Trainingsbereichen von Fin verfügbar ist. Sie tippen Nachrichten ein und sehen Fin's Antwort und das Ereignisprotokoll in Echtzeit. |
Am besten geeignet für | Validierung komplexer Verfahrenslogik end-to-end vor dem Livegang. Erkennung von Regressionen nach Verfahrensupdates. Testen von Randfällen und Verzweigungspfaden. | Überprüfung der Inhaltsabdeckung über viele Fragen gleichzeitig. Diagnose von Wissenslücken, Anleitungen oder Automatisierungen. Pre-Launch-QA über Zielgruppen, Marken und Sprachen. | Schnelle manuelle Stichproben während des Aufbaus. Überprüfung, wie sich eine bestimmte Änderung — an Inhalten, Anleitungen, Attributen, Eskalation oder einem Verfahren — in dem Moment auf Fin's Antwort auswirkt. |
Funktioniert mit | Nur Verfahren. | Alle Kunden, die Fin verwenden — egal ob mit Verfahren, Tasks oder nur Wissensinhalten. | Alle Trainingsbereiche von Fin: Content, Guidance, Attributes, Escalation, Procedures und Deploy. |
Testmodus | Automatisiert — KI generiert die Kundenseite des Gesprächs und bewertet das Ergebnis mit einer Bestehen/Nicht-Bestehen-Beurteilung. | Automatisiert — Fin generiert eine Antwort auf jede Frage. Sie überprüfen und bewerten die Antworten manuell (Gut / Akzeptabel / Schlecht). | Manuell — Sie tippen die Nachrichten selbst ein und beobachten Fin's Antwort und das Ereignisprotokoll. |
Erzeugt es ein echtes Gespräch? | Nein — läuft vollständig im Hintergrund. Es wird kein inbox-Gespräch erstellt. | Nein — nur Simulation. Es werden keine inbox-Gespräche erstellt oder Kundendaten beeinflusst. | Ja — Preview-Gespräche erscheinen in Ihrem inbox, werden aber von der Berichterstattung ausgeschlossen. |
Greift es auf Live-APIs zu? | Nein — ruft keine Live-externen APIs (z. B. Shopify, Stripe) auf. Testet nur Logik. | Nein — Daten-Connectoren verwenden konfigurierte Test-/Beispieldaten. Keine Live-API-Aufrufe. | Ja — kann auf echte Benutzerdaten und Live-Integrationen zugreifen, wenn als spezifischer user oder Lead getestet wird. |
Speichert & wiederholt | Ja — Simulationen werden gespeichert und können bei jeder Aktualisierung des Verfahrens erneut ausgeführt werden. Unterstützt "Alle ausführen". | Ja — Testgruppen (bis zu 50 Fragen pro Gruppe) können gespeichert, erneut ausgeführt und mit Teamkollegen geteilt werden. | Nein — einmalige manuelle Gespräche. Nicht gespeichert oder wiederholbar. |
Bestehen/Nicht-Bestehen-Beurteilung | Ja — KI bewertet das Gespräch anhand von Erfolgskriterien und vergibt Bestehen oder Nicht-Bestehen mit vollständiger Begründung. | Nein — Sie bewerten jede Antwort manuell als Gut, Akzeptabel oder Schlecht und wählen eine Ursache aus. | Nein — keine automatisierte Beurteilung. Sie bewerten das Ergebnis selbst. |
Nutzungsbeschränkungen | Ja — monatliches Ausführungslimit basierend auf dem Gesprächsvolumen des Arbeitsbereichs (50–2.500/Monat). Inklusive bei Verfahren ohne zusätzliche Kosten. | Keine Kosten. Bis zu 50 Fragen pro Testgruppe. | Keine Beschränkungen. |
Verfügbarkeit | Nur Verfahren — erfordert verwalteten Verfügbarkeitszugang. | Im Allgemeinen für alle Fin-Kunden mit vollem Sitz und Berechtigung für Alle Gespräche verfügbar. | Im Allgemeinen für alle Fin-Kunden verfügbar. |
Wann welches Tool verwenden
Verwenden Sie Simulationen, wenn
Sie ein Verfahren end-to-end validieren müssen, bevor Sie es live schalten.
Sie automatisierte, wiederholbare Tests möchten, die nach jedem Update Regressionen erkennen.
Ihr Verfahren Verzweigungslogik, Bedingungen oder Unterverfahren hat — und Sie für jeden Pfad einen separaten Testfall benötigen.
Sie möchten, dass die KI das Ergebnis anhand definierter Erfolgskriterien bewertet (Fin-Antwort, Attributwerte, Daten-Connector-Aufrufe, Anweisungsergebnis).
Sie zeitkritische Logik testen müssen (z. B. Rückerstattungsfristen), indem Sie die Simulationszeit und Datenwerte steuern.
Verwenden Sie Batch-Tests, wenn
Sie Fin's Antworten über eine breite Fragenauswahl validieren möchten — nicht nur ein Szenario.
Sie Pre-Launch-QA über Inhalte, Anleitungen, Zielgruppen, Sprachen oder Marken durchführen.
Sie Inhaltslücken diagnostizieren möchten, indem Sie sehen, aus welchen Quellen Fin für jede Antwort zieht.
Sie Fragen testen möchten, die aus echten vergangenen Gesprächen oder KI-Themen generiert wurden.
Sie einen herunterladbaren CSV-Bericht benötigen, um Ergebnisse mit Ihrem Team oder Führungskräften zu teilen.
Verwenden Sie Previews, wenn
Sie aktiv bauen und sofort eine Änderung überprüfen möchten — an Inhalten, Anleitungen, einem Attribut, einer Eskalationsregel oder einem Verfahren.
Sie manuell ein Gespräch als spezifischer user, Zielgruppe oder in einer bestimmten Sprache durchgehen möchten.
Sie Fin's Ereignisprotokoll sehen müssen, um genau zu verstehen, was angewendet wurde (Persönlichkeit, Anleitung, Tasks, Inhaltsquellen).
Sie Fin Vision testen möchten, indem Sie ein Bild oder einen Screenshot senden.
Sie einen Verfahrensablauf validieren und die vollständige inbox-Erfahrung für Kunden und Teammitglieder sehen möchten (einschließlich nachgelagerter Automatisierungen).
FAQs
Was ist der Unterschied zwischen Simulationen und Previews?
Was ist der Unterschied zwischen Simulationen und Previews?
Previews sind manuell und interaktiv: Sie tippen die Nachrichten selbst ein und beobachten Fin in Echtzeit antworten. Sie eignen sich hervorragend für schnelle Stichproben während des Aufbaus.
Simulationen sind automatisiert: Die KI agiert als Kunde, führt das vollständige Gespräch und bewertet das Ergebnis anhand der von Ihnen festgelegten Erfolgskriterien.
Simulationen erzeugen keine inbox-Gespräche; Preview schon. Verwenden Sie Simulationen, wenn Sie Verfahrenslogik in großem Maßstab validieren müssen. Verwenden Sie Preview für kontextbezogenes manuelles Testen.
Was ist der Unterschied zwischen Simulationen und Batch-Tests?
Was ist der Unterschied zwischen Simulationen und Batch-Tests?
Batch-Tests prüfen, wie Fin eine breite Fragenauswahl beantwortet — testen Inhaltsabdeckung, Anleitungen und Automatisierungen über viele Szenarien gleichzeitig. Sie bewerten die Antworten manuell.
Simulationen testen ein einzelnes Verfahren end-to-end mit automatisierter KI-Beurteilung.
Batch-Tests funktionieren mit allen Fin-Setups. Simulationen sind exklusiv für Verfahren.
Was ist der Unterschied zwischen Batch-Tests und Previews?
Was ist der Unterschied zwischen Batch-Tests und Previews?
Batch-Tests sind strukturierte, wiederholbare QA-Durchläufe mit bis zu 50 Fragen — nützlich für Pre-Launch-Checks und Diagnose von Inhaltslücken.
Previews sind unstrukturiert und manuell — ein Gespräch nach dem anderen, nützlich für sofortiges Feedback während des Aufbaus.
Batch-Test-Ergebnisse werden gespeichert und können als CSV exportiert werden. Preview-Gespräche erscheinen in Ihrem inbox, werden aber nicht als Testläufe gespeichert.
Rufen Simulationen Live-APIs auf oder beeinflussen sie echte Daten?
Rufen Simulationen Live-APIs auf oder beeinflussen sie echte Daten?
Nein. Simulationen rufen keine Live-externen APIs (wie Shopify oder Stripe) auf und beeinflussen keine echten Daten. Sie testen nur Logik. Wenn Sie mit echten API-Aufrufen testen müssen, verwenden Sie Preview und wählen Sie einen spezifischen user mit echten Daten in deren externem System.
Werden mir für Simulationen oder Batch-Tests Kosten berechnet?
Werden mir für Simulationen oder Batch-Tests Kosten berechnet?
Simulationen sind bei Verfahren ohne zusätzliche Kosten enthalten. Batch-Tests sind ebenfalls kostenlos nutzbar (Sie werden nicht für Antworten aus Batch-Tests belastet).
Hinweis: Simulationen haben ein monatliches Ausführungslimit (50–2.500 pro Monat, abhängig vom Gesprächsvolumen), das am ersten Tag jedes Monats zurückgesetzt wird.
Kann ich Batch-Tests verwenden, um ein Verfahren zu testen?
Kann ich Batch-Tests verwenden, um ein Verfahren zu testen?
Batch-Tests zeigen, ob ein Verfahren für eine bestimmte Frage ausgelöst worden wäre, führen das Verfahren jedoch nicht aus oder bewerten dessen End-to-End-Logik. Für vollständige Verfahrensvalidierung (einschließlich Verzweigungen, Daten-Connector-Aufrufen und Anweisungsergebnissen) verwenden Sie Simulationen.
Welches Testwerkzeug sollte ich vor dem Livegang verwenden?
Welches Testwerkzeug sollte ich vor dem Livegang verwenden?
Verwenden Sie alle drei in Kombination: Preview für schnelle manuelle Prüfungen während des Aufbaus; Simulationen zur Validierung der Verfahrenslogik end-to-end mit automatisierten Bestehen/Nicht-Bestehen-Ergebnissen; Batch-Tests zur Bestätigung von Fin's Antworten über eine breite Auswahl echter Kundenfragen.
Es wird dringend empfohlen, Simulationen vor jedem Verfahrensstart durchzuführen.
Wichtige Fakten zum Merken
Simulationen sind exklusiv für Verfahren. Sie können nicht mit Tasks, Workflows oder allgemeinem Inhaltstesting verwendet werden.
Batch-Tests funktionieren für alle Fin-Kunden — egal ob mit Verfahren, Tasks oder nur Wissensinhalten.
Preview-Gespräche erscheinen im inbox, werden aber von der Berichterstattung ausgeschlossen.
Nur Preview kann auf Live-APIs zugreifen. Simulationen und Batch-Tests sind sichere, sandboxed Umgebungen.
Das Ausführungslimit für Simulationen gilt pro Arbeitsbereich, nicht pro Teammitglied, und wird monatlich zurückgesetzt.
Antwortbewertungen in Batch-Tests trainieren Fin nicht — sie dienen nur der menschlichen Überprüfung und Ursachenanalyse.
In Simulationen kann ein Test bestehen, aber die Erfolgskriterien sind zu streng (z. B. wenn eine bestimmte Frage, die Fin selbst gefunden hat, erforderlich ist), kann der Test trotzdem fehlschlagen. Konzentrieren Sie die Erfolgskriterien auf Ergebnisse, nicht auf Zwischenschritte.