この記事を使ってOperatorにEvalsの作成、実行、分析を依頼し、提案された変更を確認し、定期実行をスケジュールします。OperatorはEvalsやSimulations、またはFinの設定の改善も推奨できます。基本事項やEvalsとSimulationsの説明は「Evals explained」記事をご覧ください。
注意：OperatorでEvalsを使用するには、ワークスペースにPro add-onが必要で、Operatorへのアクセス権が必要です。
OperatorでEvalを作成する方法
OperatorでEvalを作成するには、左側のナビゲーションでOperatorを開き、ユースケースに合わせてEvalの作成を依頼します。例えば、次のように依頼できます：
現在作業中のRelease：現在のReleaseでのFinの設定変更（本番反映前）。
特定の会話：1つ以上の会話IDを共有すると、Operatorがそれらを再現するSimulationsを作成します。
まだカバーしていないエッジケース：既存のSimulationsのギャップを探し、新しいSimulationsを提案するようOperatorに依頼します。
新規または更新されたProcedure：Finが各ステップを正しく実行し、引き継ぎポイントも含めて確認します。
トピック：例えば「refunds」などのトピック名を指定すると、Operatorが顧客が問い合わせそうなシナリオをカバーするSimulationsを作成します。
既存のEvalのさらなるバリエーション：異なる顧客、トーン、言語のSimulationsを追加するようOperatorに依頼します。
Simulations、Simulationチェック、Handoffチェックの内容はOperatorに指示するか、Operatorに判断させることができます。不明点（既存EvalへのSimulations追加の可否や引き継ぎ先チームなど）があれば、Operatorが先に質問します。選択肢を選ぶか、Something elseに自分の回答を入力、またはSkipをクリックしてOperatorに決めさせてください。
ヒント：リクエストが具体的であるほど、Operatorの質問は少なくなります。
例のプロンプト：「Refund requests」という名前の新しいEvalを5つのSimulationsで作成します：単純な返金要求、返金期間外の問い合わせ、二重請求に怒った顧客、スペイン語での問い合わせ、FinがBillingチームに引き継ぐケース。名前やシナリオは自分のトピックやケースに置き換えてください。
Operatorが作成した内容を確認して保存する方法
Operatorは確認するまで何も保存しません。新しいEvalsやSimulationsはメッセージボックス上の「changes pending」パネルに「New」と表示されます。項目をクリックして保存前に確認してください。
準備ができたら、変更を保存する場所を選択します：
Publish to Fin Main：保留中の変更をすべてライブのEvalsに即時保存します。
Save to release draft：変更を既存のリリースドラフトに保存し、本番反映前に他の変更と一緒にテストできます。リストからドラフトを選択するか、New release draftをクリックして新規作成してください。
変更を破棄するには、削除アイコンをクリックしてください。
OperatorでEvalを実行する方法
OperatorでEvalを実行するには、例えば「Run the Refund requests Eval」と依頼します。Operatorは各Simulationの実行結果を表示します。
Evalの実行にOperatorは必須ではありません。Test > Evalsで自分で実行できます。Operatorから開始した実行もそこに表示され、すべての結果を一か所で確認できます。
Operatorが提供する結果の読み方
すべてのSimulationが実行されると、Operatorは結果を整理して説明します：
結果表：各Simulationの総合結果（Passed、Failed、Error）とその背後にある個別チェックを示し、なぜその結果になったかがわかります。例えば「Bulk workspace export」というSimulationは、Finの返信チェックは通過したが、Handoffチェックが失敗（Finが不必要にエスカレーション）したため失敗することがあります。
概要：見出しの集計（3 passed, 1 failed, 2 errored）と、何が問題でなぜそうなったかのわかりやすい説明。例えば、Operatorは「failure」という単語が出るとチームメイトに引き継ぐガイダンスルールが原因の失敗を追跡できます。
Operatorで問題を修正する方法
結果を分析した後、OperatorはEvalsやSimulations、またはFinの設定の改善を推奨し、それらの変更を行うこともできます。例えばSimulationがガイダンスルールのために失敗した場合、そのルールを特定して修正箇所を示します。Operatorは自動で修正を適用しません。提案された変更は「changes pending」パネルに表示され、保存前に確認できます（「Operatorが作成した内容を確認して保存する方法」参照）。
OperatorとRoutinesでEvalsをスケジュールする方法
毎週月曜の朝など定期的にEvalsを実行するには、OperatorでRoutineを設定します。Evalsページからはスケジュールできません。
Evalをスケジュールするには：
左側のナビゲーションでOperatorを開き、Routinesをクリックします。
Routineを設定で、実行内容と日時を記述します。例：「Run the Refund requests Eval every Monday at 9am and summarize the results.」
OperatorはRoutineのドラフトを作成し、右側のパネルにトリガー、スケジュール、指示を表示します。時間やタイムゾーンなど不足があれば、デフォルトを提案し確認または変更を求めます。
Routineの詳細を確認し、Acceptをクリックして有効化、またはDiscardをクリックしてキャンセルします。
Routineが実行されるたびに、合格・不合格のSimulation数、失敗したSimulationと理由、Finのコンテンツ、ガイダンス、Procedureへの推奨修正を報告します。