Verwenden Sie diesen Artikel, um die Simulationen in einem Eval auszuführen, die Ergebnisse auf einer Eval-Seite zu lesen und zu überprüfen, wie Fin bei einer einzelnen Simulation abgeschnitten hat.
Wie man die Simulationen in einem Eval ausführt
Um alle Simulationen in einem Eval auf einmal auszuführen, öffnen Sie das Eval und klicken Sie auf Alle ausführen. Um eine einzelne Simulation auszuführen, klicken Sie auf die Ausführen-Schaltfläche in der jeweiligen Zeile. Während eine Simulation läuft, zeigt die Spalte Letzter Lauf Gerade eben und die Spalte Ergebnis Läuft an. Wenn sie fertig ist, ändert sich das Ergebnis zu Bestanden, Nicht bestanden oder Fehler.
Was passiert, wenn Sie ein Eval ausführen?
Wenn Sie ein Eval ausführen, sind die Ergebnisse nicht sofort verfügbar, da jede Simulation ein vollständiges mehrstufiges Gespräch ist. Fin antwortet, der simulierte Kunde reagiert, und das Gespräch läuft weiter, bis es endet. Danach werden die Prüfungen und eventuelle Scorecards bewertet. Eine Simulation kann einige Minuten dauern, ein vollständiges Eval kann länger dauern.
Simulationen werden in einer Warteschlange ausgeführt und laufen jeweils einige gleichzeitig, nicht alle auf einmal. Während sie warten, werden sie als In Warteschlange angezeigt. Sobald sie starten, erscheinen sie als Läuft.
Das Ergebnis des Evals wird aktualisiert, sobald jede Simulation abgeschlossen ist, zum Beispiel 3/10 Läuft. Scorecard-Ergebnisse erscheinen kurz nach Abschluss des Gesprächs.
Die Ausführungen laufen im Hintergrund. Sie können die Seite verlassen und später für die Ergebnisse zurückkehren. Sie erhalten keine Benachrichtigung, wenn eine Ausführung beendet ist.
Wenn Sie mehrere Evals gleichzeitig ausführen, werden sie nacheinander in eine Warteschlange gestellt, sodass jede länger dauert.
Um eine Ausführung zu stoppen, klicken Sie auf die Stopp-Schaltfläche beim Eval oder der Simulation. Gestoppte Simulationen zählen weiterhin zu Ihrem monatlichen Simulationskontingent.
Um nur einige Simulationen auszuführen, wählen Sie diese aus und klicken Sie auf Ausführen, oder suchen bzw. filtern Sie die Liste und klicken Sie auf Gefilterte ausführen.
Tipp: Während Sie an einer Korrektur arbeiten, führen Sie nur die Simulationen aus, die Sie interessieren, statt das gesamte Eval. Speichern Sie Alle ausführen für Regressionstests vor der Veröffentlichung einer Änderung.
Wie viele Simulationen können Sie jeden Monat ausführen?
Ihr Arbeitsbereich kann jeden Monat eine festgelegte Anzahl von Simulationen in Evals ausführen. Das Limit gilt für den gesamten Arbeitsbereich und wird am ersten Tag jedes Kalendermonats zurückgesetzt. Ihr monatliches Simulationskontingent basiert auf dem Gesprächsvolumen Ihres Arbeitsbereichs, und größere Arbeitsbereiche erhalten höhere Kontingente.
Ihr Arbeitsbereich wird einem Segment zugewiesen, basierend auf der Anzahl der Gespräche in den letzten 30 Tagen.
Ihr Segment wird monatlich neu bewertet, sodass Ihr Kontingent Ihr aktuelles Gesprächsvolumen widerspiegelt.
Wenn Ihr Gesprächsvolumen steigt oder sinkt, kann sich Ihr Kontingent im nächsten Monatszyklus ändern.
Die folgende Tabelle zeigt das monatliche Simulationskontingent für jedes Gesprächsvolumensegment.
Gesprächsvolumensegment | Simulationslimit pro Monat |
Unter 1K | 250 |
1K–15K | 1.000 |
15K–100K | 1.750 |
100K–1M | 5.000 |
1M+ | 12.500 |
Was passiert, wenn Sie Ihr monatliches Simulationslimit erreichen?
Wenn Ihr Arbeitsbereich 80 % seines monatlichen Simulationslimits erreicht, erscheint ein gelbes Banner mit Ihrer aktuellen Nutzung (zum Beispiel 850/1000) und wann das Limit zurückgesetzt wird. Bei 100 % erscheint eine rote Meldung, und Sie können keine weiteren Simulationen ausführen, bis der nächste Monat beginnt. Wenn Sie Alle ausführen nahe an Ihrem Limit klicken, werden die Simulationen ausgeführt, die in Ihr Kontingent passen, und der Rest startet nicht.
Was sehen Sie auf einer Eval-Seite?
Eine Eval-Seite zeigt die Ergebnisse eines Evals und listet die darin enthaltenen Simulationen auf. Um sie zu öffnen, klicken Sie auf den Namen eines Evals auf der Evals-Seite. Der Name des Evals erscheint im Seitentitel, nach dem Evals-Breadcrumb.
Schaltflächen oben: Operator, ein ⋯-Menü, Scorecard hinzufügen und Neue Simulation.
Filter: ein Simulationen suchen-Feld, ein Ergebnis-Filter, die dem Eval zugeordneten Tags und eine + Tag-Schaltfläche.
Simulationsergebnisse: die Anzahl der Simulationen, die bestanden haben, zum Beispiel 4/6 bestanden, mit einem Fortschrittsbalken.
Simulierte Gespräche: eine Tabelle mit dem Simulierten Gespräch (die Eröffnungsnachricht des Kunden), Notizen, Letzter Lauf und Ergebnis (Bestanden oder Nicht bestanden) für jede Simulation sowie einer Ausführen-Schaltfläche in jeder Zeile.
Alle ausführen: führt jede Simulation im Eval aus.
Die Anzahl der Simulationsergebnisse umfasst die Anzahl der Simulationen im Eval, die bei ihrem letzten Lauf alle Simulationsprüfungen und Handoff-Kriterien bestanden haben. Um diese Definition zu sehen, fahren Sie mit der Maus über das Fragezeichen neben Simulationsergebnisse.
Was können Sie im Eval-Menü tun?
Klicken Sie auf das ⋯-Menü oben auf einer Eval-Seite, um eine dieser Optionen auszuwählen: Eval bearbeiten, CSV importieren oder Eval löschen.
Was sehen Sie auf einer Simulationsseite?
Eine Simulationsseite zeigt ein simuliertes Gespräch, die Prüfungen, auf denen es bewertet wurde, und wie Fin abgeschnitten hat. Um sie zu öffnen, klicken Sie auf die Zeile einer Simulation auf der Eval-Seite. Der Seitentitel zeigt den Pfad Evals, dann den Namen des Evals, dann Simulation.
Schaltflächen oben: Operator, Bearbeiten, ein ⋯-Menü, Ausführen und eine Schließen-Schaltfläche.
Ergebniszusammenfassung: die Eröffnungsnachricht des Kunden, ein Bestanden- oder Nicht bestanden-Label und wann die Simulation zuletzt ausgeführt wurde.
Simulationslauf-ID: eine ID für den Lauf, mit einer Kopieren-Schaltfläche.
Gespräch: was der Testkunde gesagt hat und wie Fin geantwortet hat, einschließlich Ereignissen, die Fin unterwegs aufgezeichnet hat, wie das Einstellen der Sprache.
Handoff: ein Bestanden- oder Nicht bestanden-Label und die erwartete Übergabe, zum Beispiel Erwartet: Keine Übergabe.
Simulationsprüfungen: ein Bestanden- oder Nicht bestanden-Label für jede Prüfung. Eine Fin-Antwort-Prüfung zeigt die von Ihnen festgelegten Kriterien und den Grund, warum sie bestanden oder nicht bestanden wurde.
Notizen: ein Bereich, um eine Notiz zur Simulation hinzuzufügen, indem Sie auf Notiz hinzufügen klicken.
Scorecard (falls das Eval eine hat): die Bewertungsnote und die Bewertung für jedes Kriterium.
Um zu ändern, was eine Simulation prüft, lesen Sie den Artikel "Simulations für Evals einrichten".
Wie man das Ergebnis einer Simulation liest
Wenn eine Simulation endet, zeigt sie Bestanden, Nicht bestanden oder Fehler an. Eine Simulation besteht nur, wenn jede Simulationsprüfung und Handoff-Prüfung bestanden wird, sodass eine einzelne nicht bestandene Prüfung bedeutet, dass die Simulation nicht besteht. Für jede Simulation erhalten Sie das Gesamtergebnis, das vollständige Gesprächstranskript und das Ereignisprotokoll, das Fins Überlegungen sowie die verwendeten Werkzeuge und Informationen bei jedem Schritt zeigt.
Nicht bestanden: Das Gespräch wurde beendet, aber Fin hat eine Ihrer Prüfungen nicht erfüllt. Öffnen Sie das Transkript und das Ereignisprotokoll, um zu sehen, wo Fins Verhalten von den von Ihnen festgelegten Prüfungen abwich.
Fehler: Das Gespräch konnte nicht abgeschlossen werden. Führen Sie es erneut aus und überprüfen Sie dann die Einrichtung der Simulation (Kundenmeldung, Daten oder Prüfungen) auf Fehlkonfigurationen.
Wenn ein einzelnes Gespräch erfordert, dass Fin mehrere Verfahren durchläuft, sehen Sie, wie Fin während des simulierten Gesprächs zwischen den Verfahren wechselt, genau wie bei einem echten Kunden. Jede Simulation speichert die letzten 15 Läufe, und Sie können mit dem Dropdown für die Laufhistorie einer Simulation frühere Ergebnisse ansehen.
Was bedeuten die Eval-Ergebnisse in der Evals-Liste?
Jedes Eval in der Evals-Liste zeigt ein Gesamtergebnis. Dies sind auch die Optionen im Ergebnis-Filter:
Nicht ausgeführt: Keine der Simulationen des Evals wurde bisher ausgeführt.
In Warteschlange: Der Lauf wartet darauf, gestartet zu werden.
Läuft: Simulationen werden gerade ausgeführt, mit einer Anzahl, wie viele (zum Beispiel 3/10 Läuft).
Bestanden: Jede Simulation wurde bestanden.
Teilweise bestanden: Einige Simulationen wurden bestanden, andere nicht oder mit Fehlern.
Nicht bestanden: Keine Simulation wurde bestanden.
Abgebrochen: Der Lauf wurde abgebrochen, bevor eine Simulation ein Ergebnis erhielt.
Nicht verarbeitbar: Keine Simulation erhielt ein Ergebnis, da sie gelöscht wurden, bevor sie ausgeführt werden konnten.
Bestandene, teilweise bestandene und nicht bestandene Evals zeigen eine Anzahl, wie 8/10 Bestanden. Das Abzeichen ist grün, wenn jede Simulation bestanden wurde, und rot, wenn weniger als die Hälfte bestanden hat.
Warum ist meine Simulation fehlgeschlagen, obwohl Fins Antwort richtig aussah?
Eine Simulation kann beim Standard-Check "Keine Übergabe" fehlschlagen, selbst wenn Fins Antwort richtig aussah. Wenn Sie eine Simulation ohne expliziten Handoff-Check und ohne Simulationsprüfungen hinzufügen, besteht die Simulation nur, wenn Fin das Gespräch ohne Übergabe an ein Team oder einen Workflow gelöst hat. Dieser Standard wird in der Simulationseinrichtung nicht angezeigt, also prüfen Sie, ob ein Handoff-Check gesetzt wurde, wenn eine Simulation fehlschlägt und Sie den Grund nicht sehen können.
Tipp: Fügen Sie jeder Simulation einen expliziten Handoff-Check hinzu, damit das Bestehen/Nichtbestehen-Ergebnis Ihre Absicht widerspiegelt und nicht den Standard.
Wie man Fin in anderen Sprachen als Englisch testet
Um Fin in einer anderen Sprache zu testen, schreiben Sie die erste Nachricht des Kunden in dieser Sprache. Simulationen unterstützen dieselben Sprachen wie Fin, und Sie müssen keine Sprache einstellen. Wenn eine Simulation startet, erkennt Fin die Sprache der ersten Nachricht mit derselben Spracherkennung wie bei Live-Gesprächen und verwendet sie für die gesamte Simulation. Fin antwortet in dieser Sprache, der simulierte Kunde schreibt seine Folge-Nachrichten ebenfalls in dieser Sprache, und Scorecards werden in dieser Sprache bewertet.
Wenn der simulierte Kunde eine Language override eingestellt hat, verwendet Fin diese stattdessen, genau wie bei einem echten Kunden.
Fin respektiert die mehrsprachigen Einstellungen Ihres Arbeitsbereichs. Wenn die erkannte Sprache nicht eine der von Ihnen für Fin aktivierten Sprachen ist oder Fin sie nicht mit ausreichender Sicherheit erkennen kann (zum Beispiel bei einer sehr kurzen Nachricht wie "Hi"), fällt Fin auf die Messenger-Sprache des Kunden zurück und dann auf die Standardsprache Ihres Arbeitsbereichs.
Sie können sehen, welche Sprache in der Simulation verwendet wurde, zum Beispiel Fin hat die Sprache auf Spanisch eingestellt.
Um dasselbe Szenario in mehreren Sprachen zu testen, erstellen Sie eine Simulation pro Sprache und verwenden Sie Tags bei den Evals, um sie zu gruppieren. Schreiben Sie Eröffnungsnachrichten mit mindestens einem vollständigen Satz, damit die Spracherkennung zuverlässig ist. Die Sprache wird einmal zu Beginn festgelegt und ändert sich nicht, wenn der Kunde während des Gesprächs die Sprache wechselt.
Wie man Evals nach einer Änderung und nach Zeitplan erneut ausführt
Nachdem Sie Fins Inhalte, Anleitungen, Verfahren oder Skills geändert haben, führen Sie Ihre bestehenden Evals erneut aus, um Rückschritte zu überprüfen. Jede Simulation wird gespeichert und ist wiederverwendbar, sodass das erneute Ausführen mit einem Klick erfolgt, anstatt Ihre Testszenarien neu zu erstellen. Um Evals regelmäßig auszuführen, zum Beispiel jeden Montagmorgen, richten Sie eine Routine in Operator ein, die Ihre ausgewählten Evals zu den von Ihnen gewählten Zeiten ausführt. Eine Zeitplanung ist auf der Evals-Seite nicht verfügbar.