Verwenden Sie diesen Artikel, um Operator zu bitten, Evals zu erstellen, auszuführen und zu analysieren, die vorgeschlagenen Änderungen zu überprüfen und wiederkehrende Läufe zu planen. Operator kann auch Verbesserungen für Ihre Evals und Simulationen oder für Fin's Konfiguration empfehlen. Für die Grundlagen, einschließlich was Evals und Simulationen sind, siehe den Artikel Evals erklärt.
Hinweis: Um Evals mit Operator zu verwenden, benötigt Ihr Workspace das Pro-Add-on und Sie benötigen Zugriff auf Operator.
So erstellen Sie ein Eval mit Operator
Um ein Eval mit Operator zu erstellen, öffnen Sie Operator in der linken Navigation und bitten Sie ihn, ein Eval für Ihren Anwendungsfall zu erstellen. Zum Beispiel könnten Sie ihn bitten, Folgendes zu testen:
Die Release, an der Sie arbeiten: die Änderungen an Fin's Konfiguration in Ihrer aktuellen Release, bevor sie live gehen.
Bestimmte Gespräche: Teilen Sie eine oder mehrere Gesprächs-IDs, und Operator erstellt Simulationen, die diese nachbilden.
Edge Cases, die Sie noch nicht abgedeckt haben: Bitten Sie Operator, nach Lücken in Ihren bestehenden Simulationen zu suchen und neue vorzuschlagen.
Ein neues oder aktualisiertes Verfahren: Überprüfen Sie, ob Fin jeden Schritt befolgt, einschließlich der Punkte, an denen es übergeben sollte.
Ein Thema: Nennen Sie ein Thema, wie Rückerstattungen, und Operator erstellt Simulationen, die die Bandbreite der Szenarien abdecken, zu denen Kunden Sie wahrscheinlich kontaktieren.
Mehr Variationen eines bestehenden Evals: Bitten Sie Operator, Simulationen mit unterschiedlichen Kunden, Tonfällen oder Sprachen hinzuzufügen.
Sie können Operator mitteilen, was die Simulationen, Simulationsprüfungen und Übergabeprüfungen sein sollen, oder es selbst herausfinden lassen. Wenn etwas unklar ist, z. B. ob Simulationen zu einem bestehenden Eval hinzugefügt werden sollen oder an welches Team eine Übergabe gehen soll, fragt Operator Sie zuerst. Wählen Sie eine Option, geben Sie Ihre eigene Antwort unter Etwas anderes ein oder klicken Sie auf Überspringen, damit Operator entscheidet.
Tipp: Je spezifischer Ihre Anfrage, desto weniger Fragen muss Operator stellen.
Beispielaufforderung: Erstellen Sie ein neues Eval namens "Refund requests" mit 5 Simulationen: eine einfache Rückerstattungsanfrage, ein Kunde, der nach einer Rückerstattung außerhalb des Rückerstattungszeitraums fragt, ein frustrierter Kunde, der doppelt belastet wurde, ein Kunde, der auf Spanisch fragt, und einer, bei dem Fin an das Abrechnungsteam übergeben soll. Um es anzupassen, ersetzen Sie den Eval-Namen und die Szenarien durch Ihr eigenes Thema und Ihre Fälle.
So überprüfen und speichern Sie, was Operator erstellt
Operator speichert nichts, bis Sie es überprüfen. Neue Evals und Simulationen erscheinen im Panel "Änderungen ausstehend" über dem Nachrichtenfeld, jeweils mit "Neu" gekennzeichnet. Klicken Sie auf einen Eintrag, um ihn vor dem Speichern zu überprüfen.
Wenn Sie bereit sind, wählen Sie, wo die Änderungen gespeichert werden sollen:
In Fin Main veröffentlichen: Speichert alle ausstehenden Änderungen sofort in Ihren Live-Evals.
In Release-Entwurf speichern: Speichert die Änderungen in einem bestehenden Release-Entwurf, damit Sie sie zusammen mit anderen Änderungen testen können, bevor sie live gehen. Wählen Sie einen Entwurf aus der Liste oder klicken Sie auf Neuen Release-Entwurf, um einen zu erstellen.
Um die Änderungen stattdessen zu verwerfen, klicken Sie auf das Löschsymbol.
So führen Sie ein Eval mit Operator aus
Um ein Eval mit Operator auszuführen, bitten Sie ihn, das Eval auszuführen, zum Beispiel: Führen Sie das Eval "Refund requests" aus. Operator zeigt Ihnen die Ergebnisse, während jede Simulation läuft.
Sie benötigen Operator nicht, um ein Eval auszuführen. Gehen Sie zu Test > Evals und führen Sie es selbst aus. Läufe, die von Operator gestartet wurden, erscheinen dort ebenfalls, sodass Sie jedes Ergebnis an einem Ort überprüfen können.
So lesen Sie die Ergebnisse, die Operator Ihnen gibt
Sobald jede Simulation gelaufen ist, legt Operator die Ergebnisse dar und erklärt sie:
Eine Ergebnistabelle: Das Gesamtergebnis jeder Simulation (Bestanden, Nicht bestanden oder Fehler) und die einzelnen Prüfungen dahinter, damit Sie sehen können, warum es so bewertet wurde. Zum Beispiel kann eine Simulation namens "Bulk workspace export" fehlschlagen, weil die Übergabeprüfung fehlgeschlagen ist (Fin eskalierte, obwohl es nicht sollte), obwohl die Fin-Antwortprüfung bestanden wurde.
Eine Zusammenfassung: Die Überschriftenzahlen (3 bestanden, 1 nicht bestanden, 2 Fehler), gefolgt von einer verständlichen Aufschlüsselung, was schiefgelaufen ist und warum. Zum Beispiel kann Operator einen fehlgeschlagenen Export auf eine Richtlinienregel zurückverfolgen, die an einen Teamkollegen übergibt, wann immer das Wort "failure" erscheint.
So beheben Sie Probleme mit Operator
Nach der Analyse der Ergebnisse kann Operator Verbesserungen empfehlen, entweder für Ihre Evals und Simulationen oder für Fin's Konfiguration, und diese Änderungen für Sie vornehmen. Zum Beispiel, wenn eine Simulation wegen einer Richtlinienregel fehlschlägt, verfolgt Operator den Fehler bis zu dieser Regel zurück, damit Sie sehen, was zu beheben ist. Operator wendet keine Korrekturen eigenständig an. Jede vorgeschlagene Änderung erscheint im Panel "Änderungen ausstehend", damit Sie sie vor dem Speichern überprüfen können, wie oben unter "So überprüfen und speichern Sie, was Operator erstellt" beschrieben.
So planen Sie Evals mit Operator und Routines
Um Evals regelmäßig auszuführen, z. B. jeden Montagmorgen, richten Sie eine Routine in Operator ein. Sie können Evals nicht von der Evals-Seite aus planen.
So planen Sie ein Eval:
Öffnen Sie Operator in der linken Navigation und klicken Sie auf Routines.
Beschreiben Sie unter Routine einrichten, was Sie ausführen möchten und wann. Zum Beispiel: "Führen Sie das Eval 'Refund requests' jeden Montag um 9 Uhr aus und fassen Sie die Ergebnisse zusammen."
Operator entwirft die Routine und zeigt sie in einem Panel rechts mit Auslöser, Zeitplan und Anweisungen an. Wenn etwas fehlt, z. B. die Zeit oder Zeitzone, schlägt Operator einen Standardwert vor und bittet Sie, diesen zu bestätigen oder zu ändern.
Überprüfen Sie die Details der Routine und klicken Sie auf Akzeptieren, um sie zu aktivieren, oder auf Verwerfen, um sie abzubrechen.
Jedes Mal, wenn die Routine ausgeführt wird, berichtet sie, wie viele Simulationen bestanden und nicht bestanden wurden, welche fehlgeschlagen sind und warum, sowie empfohlene Korrekturen für Fin's Inhalte, Richtlinien oder Verfahren.