この記事を使ってEvalでシミュレーションを実行し、Evalページで結果を読み、単一のシミュレーションでのFinの動作を確認します。
Evalでシミュレーションを実行する方法
Eval内のすべてのシミュレーションを一度に実行するには、Evalを開いてすべて実行をクリックします。1つのシミュレーションを実行するには、その行の実行ボタンをクリックします。シミュレーションが実行中は、最終実行列にたった今、結果列に実行中と表示されます。終了すると、結果は合格、失敗、またはエラーに変わります。
Evalを実行すると何が起こるのか？
Evalを実行すると、結果は即時ではありません。各シミュレーションは完全な複数ターンの会話だからです。Finが応答し、シミュレーションされた顧客が返答し、会話は終了まで続きます。その後、チェックとスコアカードの採点が行われます。シミュレーションには数分かかり、Eval全体はさらに時間がかかることがあります。
シミュレーションはキューに入り、同時にすべてではなく数件ずつ実行されます。待機中はキュー待ちと表示され、開始すると実行中と表示されます。
Evalの結果は各シミュレーションの終了に合わせて更新されます。例えば3/10 実行中のように。会話完了後すぐにスコアカードのスコアが表示されます。
実行はバックグラウンドで行われます。ページを離れて後で結果を確認できます。実行完了の通知はありません。
複数のEvalを同時に実行すると、それぞれが順番にキューに入り、完了までに時間がかかります。
実行を停止するには、Evalまたはシミュレーションの停止ボタンをクリックします。停止したシミュレーションも月間シミュレーションの割当数にカウントされます。
一部のシミュレーションだけを実行するには、それらを選択して実行をクリックするか、リストを検索・フィルターしてフィルター実行をクリックします。
ヒント：修正を繰り返す間は、Eval全体ではなく関心のあるシミュレーションだけを実行しましょう。変更を公開する前の回帰チェックにはすべて実行を使います。
月にどれくらいのシミュレーションを実行できますか？
ワークスペースは毎月、Eval内で実行できるシミュレーション数の上限があります。この制限はワークスペース全体に適用され、毎月のカレンダー月の初日にリセットされます。月間シミュレーション割当数はワークスペースの会話量に基づき、大きなワークスペースほど多くの割当を受けます。
ワークスペースは過去30日間の会話数に基づいてセグメントに割り当てられます。
セグメントは毎月再評価され、割当数は最新の会話量を反映します。
会話量が増減すると、次の月間サイクルで割当数が変わることがあります。
以下の表は各会話量セグメントの月間シミュレーション割当数を示しています。
会話量セグメント | 月間シミュレーション制限 |
1K未満 | 250 |
1K〜15K | 1,000 |
15K〜100K | 1,750 |
100K〜1M | 5,000 |
1M以上 | 12,500 |
月間シミュレーション制限に達したらどうなりますか？
ワークスペースが月間シミュレーション制限の80％に達すると、黄色のバナーに現在の使用状況（例：850/1000）と制限のリセット日時が表示されます。100％に達すると赤いメッセージが表示され、翌月までシミュレーションを実行できません。すべて実行を制限近くでクリックすると、割当内に収まるシミュレーションだけが実行され、それ以外は開始されません。
Evalページには何が表示されますか？
Evalページは1つのEvalの結果を表示し、その中のシミュレーションを一覧表示します。開くには、EvalsページでEvalの名前をクリックします。Evalの名前はEvalsのパンくずリストの後にページタイトルに表示されます。
上部のボタン：オペレーター、⋯メニュー、スコアカード追加、新規シミュレーション。
フィルター：シミュレーション検索ボックス、結果フィルター、Evalに付けられたタグ、+ タグボタン。
シミュレーション結果：合格したシミュレーション数（例：4/6合格）と進捗バー。
シミュレーション会話：シミュレーション会話（顧客の最初のメッセージ）、メモ、最終実行、結果（合格または不合格）を含む表。各行に実行ボタンあり。
すべて実行：Eval内のすべてのシミュレーションを実行します。
シミュレーション結果の数は、最後に実行されたときにすべてのシミュレーションチェックとHandoff基準を通過したEval内のシミュレーション数を示します。この定義を見るには、シミュレーション結果の横の疑問符にカーソルを合わせてください。
Evalメニューから何ができますか？
Evalページ上部の⋯メニューをクリックすると、Eval編集、CSVインポート、Eval削除のいずれかを選べます。
シミュレーションページには何が表示されますか？
シミュレーションページは1つのシミュレーション会話、採点されたチェック、Finの動作を表示します。開くにはEvalページのシミュレーション行をクリックします。ページタイトルはEvals、Eval名、シミュレーションの順に表示されます。
上部のボタン：オペレーター、編集、⋯メニュー、実行、閉じるボタン。
結果概要：顧客の最初のメッセージ、合格または不合格のラベル、最後の実行日時。
シミュレーション実行ID：実行のIDとコピー用ボタン。
会話：テスト顧客の発言とFinの応答、言語設定などFinが記録したイベントを含む。
Handoff：合格または不合格のラベルと期待されたhandoff（例：期待：handoffなし）。
シミュレーションチェック：各チェックの合格または不合格ラベル。Fin返信チェックは設定した基準と合格・不合格の理由を示します。
メモ：メモを追加をクリックしてシミュレーションにメモを追加できる場所。
スコアカード（Evalにある場合）：レビューのスコアと各基準の評価。
シミュレーションのチェック内容を変更するには、「Eval用シミュレーションの設定」記事を参照してください。
シミュレーション結果の読み方
シミュレーションが終了すると、合格、不合格、またはエラーが表示されます。すべてのシミュレーションチェックとHandoffチェックが合格した場合のみ合格となり、1つでも失敗すると不合格です。各シミュレーションについて、全体結果、完全な会話記録、Finの思考や使用したツール・情報を示すイベントログが得られます。
不合格：会話は終了しましたが、Finが設定したチェックの1つを満たしませんでした。トランスクリプトとイベントログを開いて、Finの動作が設定したチェックとどこで異なったかを確認してください。
エラー：会話を完了できませんでした。再実行し、シミュレーションの設定（顧客メッセージ、データ、チェック）に誤りがないか確認してください。
1つの会話でFinが複数のProcedureをまたぐ必要がある場合、シミュレーション会話の進行に伴いFinがProcedure間を切り替える様子が見られます。各シミュレーションは直近15回の実行履歴を保持し、実行履歴ドロップダウンから過去の結果を確認できます。
EvalsリストのEval結果は何を意味しますか？
Evalsリストの各Evalは1つの全体結果を表示します。結果フィルターの選択肢もこれらです：
未実行：Evalのシミュレーションはまだ実行されていません。
キュー待ち：実行開始を待っています。
実行中：現在シミュレーションが実行中で、実行数が表示されます（例：3/10 実行中）。
合格：すべてのシミュレーションが合格しました。
部分合格：一部のシミュレーションが合格し、一部は失敗またはエラーでした。
不合格：合格したシミュレーションはありません。
キャンセル：シミュレーションが結果を得る前に実行がキャンセルされました。
処理不能：シミュレーションは実行前に削除されたため、結果がありません。
合格、部分合格、不合格のEvalはカウントを表示します（例：8/10 合格）。すべて合格の場合はバッジが緑色、半数未満の場合は赤色です。
Finの回答が正しく見えてもシミュレーションが失敗するのはなぜですか？
Finの回答が正しく見えても、デフォルトのNo handoffチェックでシミュレーションが失敗することがあります。明示的なHandoffチェックやシミュレーションチェックがないシミュレーションは、Finがチームやワークフローにhandoffせずに会話を解決した場合のみ合格します。このデフォルトはシミュレーション設定に表示されないため、失敗時に理由がわからない場合はHandoffチェックが設定されているか確認してください。
ヒント：各シミュレーションに明示的なHandoffチェックを追加し、合否結果がデフォルトではなく意図を反映するようにしましょう。
英語以外の言語でFinをテストする方法
Finを他の言語でテストするには、顧客の最初のメッセージをその言語で書きます。シミュレーションはFinと同じ言語をサポートし、言語設定は不要です。シミュレーション開始時にFinはライブ会話と同じ言語検出を使って最初のメッセージの言語を判別し、その言語でシミュレーション全体を進めます。Finはその言語で応答し、シミュレーション顧客もその言語で続け、スコアカードもその言語で採点されます。
シミュレーション顧客に言語オーバーライドが設定されている場合、Finは実際の顧客と同様にそれを使用します。
Finはワークスペースの多言語設定を尊重します。検出言語がFinで有効化されていない場合や、短いメッセージ（例：「Hi」）で十分な確信を持てない場合は、顧客のMessenger言語にフォールバックし、それもなければワークスペースのデフォルト言語を使用します。
使用された言語はシミュレーションのトランスクリプトで確認できます。例：Finが言語をスペイン語に設定しました。
複数言語で同じシナリオをテストするには、言語ごとに1つのシミュレーションを作成し、Evalsのタグでグループ化します。言語検出が確実になるよう、最初のメッセージは少なくとも1文以上書いてください。言語は開始時に1回設定され、会話途中で顧客が言語を変えても変わりません。
変更後やスケジュールでEvalsを再実行する方法
Finのコンテンツ、ガイダンス、Procedures、Skillsを変更した後、既存のEvalsを再実行して回帰をチェックします。すべてのシミュレーションは保存され再利用可能なので、再実行はテストシナリオを再作成するよりワンクリックで済みます。毎週月曜朝など定期的にEvalsを実行するには、Operatorでルーティンを設定し、選択したEvalsを指定時間に実行します。スケジューリングはEvalsページでは利用できません。