Evalsを使って現実的なテスト会話を作成し、Finの設定に対して実行し、変更が実際の顧客に届く前に自動で合否結果を得ます。変更を加えるたびに同じテストを再実行し、Finが期待通りに動作するか確認しましょう。
Evalsは2つの概念を中心に構成されています：
Evalsは「返金リクエスト」「エスカレーションシナリオ」「トーンと親しみやすさ」などのテーマ別テストグループです。
SimulationsはEval内の個別テストです。それぞれはシミュレートされた顧客とFinとの現実的な複数ターン会話で、Finの動作が評価基準に対して採点されます。
Evalを実行すると、その中のすべてのSimulationが自動的に実行され、合否結果が得られます。LLM（大規模言語モデル）ジャッジが設定したチェックに基づいて各Simulationを採点します。
注意：Evalの作成、編集、実行にはFin AI Agent & AutomationのCan view configuration and propose changes in a draft releaseまたはCan view configuration and publish changes directly to main (individually or in a release)権限が必要です。Can view configuration権限のチームメンバーはEvalsとその結果を閲覧できます。
Evalsの始め方：
Evalsの管理方法：Evalsの検索、フィルター、タグ付け、作成、およびCSVファイルからのSimulationsのインポート。
Evals用Simulationsの設定：シミュレートする顧客、Finが見るデータ、Finの採点基準を選択、または実際の会話からSimulationを作成。
Evalsの実行方法と結果の読み方：Simulationsを実行し、各結果を理解し、他言語でテスト。
Evalにスコアカードを追加する方法：Finの回答の品質を採点し、合否を判定。
OperatorでEvalsを作成・実行：OperatorにEvalsの作成、実行、分析、スケジュールを任せる。
Evalにスコアカードを追加するには、Evalの設定を開き、Quality evaluationドロップダウンから選択するか、Create new scorecardをクリックします。
いつEvalsを使うべきですか？
Finの動作に自信を持ちたいときはいつでもEvalを使いましょう：
変更を出荷する前に：Finの設定内のコンテンツ、ガイダンス、Procedures、その他すべてに対して。
Release作業中に：Release内の変更をまとめてテストし、公開前に確認。
修正後に：解決すべき問題が解決されたことを確認。
継続的に：最重要なEvalsを回帰テストとして再実行し、顧客に影響が出る前に予期せぬ変更を検出。
Finの本番開始前に：顧客が初めてFinと話す前に設定が期待通りに動作するか確認。
ReleaseをEvalsでテストする方法
ReleaseでFinの変更作業をしているときは、公開前にその変更に対してEvalsを実行しましょう。FinはReleaseのバージョンのコンテンツ、ガイダンス、Procedures、Skillsを使って回答するため、顧客に影響を与えずに変更のパフォーマンスを確認できます。
Releaseを開き、Evalsタブに移動します。
このRelease専用のEvalを作成するには、Add an Evalをクリックし、次にNew evalをクリックします。Added in this releaseの下に表示されます。
回帰をチェックするには、既存のEvalsのいずれかでRun evalをクリックします。タブにはReleaseに対して実行されたEvalsの数（例：3/5 run）が表示されます。
ReleaseをEvalsでテストするときは、以下の点に注意してください：
Release内で作成した新しいEvalsやSimulationsは、ReleaseがマージされるまでライブのEvalsには表示されません。
結果は各Releaseごとに別々に保持されます。Release内での実行はFin Mainで見る結果を変更しません。
Evalを実行後にReleaseを変更すると、結果は古いものとしてマークされます。再度Evalを実行してください。
Release内では既存のEvalsの名前変更や削除、スコアカードの編集はできません。
タグはReleaseに保存されません。Release内でのタグ変更はライブのEvalsに即時反映されます。
ReleaseをマージするのにEvalsの実行は必須ではありませんが、強く推奨されます。
どのテストツールを使うべきですか？
この表を使ってEvals、Procedure Simulations、Batch Testの中から選択してください。
| Evals | Procedure Simulations | Batch Test |
Tests | Finの全設定、エンドツーエンド | 単一のProcedureのみ | 単一の質問 |
会話タイプ | 複数ターン | 単一Procedure内の複数ターン | 単一ターン |
採点 | LLMジャッジによる自動採点、オプションでスコアカード付き | 成功と結果基準に対する自動採点 | 手動（良い、許容、悪い） |
最適用途 | 回帰テストと顧客の全体的なジャーニー | Procedureの構築と確認 | 迅速な情報チェック |
Procedureを構築中はProcedure Simulationsを使い、単独で正しく動作するか確認しましょう。
Procedureが本番稼働したらEvalsを使い、コンテンツ、ガイダンス、データコネクター、ハンドオフを含む全会話をテストします。
現在Batch Testを使っている場合は、同等のシナリオをEvalsとして構築し始めましょう。Batch Testの質問をCSVファイルにエクスポートし、Simulationsとしてインポートできます。
注意：2026年11月5日以降、新しいワークスペースでは左側ナビゲーションにBatch Testが表示されません。既にBatch Testを使っている場合は引き続き利用可能です。
Simulationの使用制限は？
Evalsで実行できるSimulationの数には月間制限があります。この制限はワークスペース全体に適用され、毎月のカレンダー月の初日にリセットされます。許容量は過去30日間の会話数に基づき、毎月再評価されます。
会話量 | 月間Simulation数 |
1K未満 | 250 |
1K〜15K | 1,000 |
15K〜100K | 1,750 |
100K〜1M | 5,000 |
1M以上 | 12,500 |
Simulationの実行は開始した時点でカウントされます。途中で停止した場合も含みます。制限に達すると「月間Simulation制限に達しました」と表示され、翌月までSimulationを実行できません。Run allを制限近くでクリックすると、許容量内のSimulationのみ実行され、それ以外は開始されません。
Evalsの現在の制限は？
Evalあたり最大50のSimulations、CSVインポートは最大50行まで。
タグはEvalsのみに適用されます。個別のSimulationsにタグ付けできず、タグ付きのすべてのEvalを一括実行できません。
通知はありません。実行完了時の通知はありません。
レビュアー注釈はまだありません。レビュアーが結果に同意または不同意を記録する方法はありません。
事前構築されたテンプレートはまだありません。プロンプトインジェクションなどの一般的なテストカテゴリに用意された開始点はありません。
Workflowsはシミュレートされません。HandoffチェックでFinが会話をworkflowに渡すことは確認できますが、Evalsはworkflowの次の動作をシミュレートしません。
Evalsよくある質問
Evalsを使うのにOperatorは必要ですか？
Evalsを使うのにOperatorは必要ですか？
Evalsを使うのにOperatorは不要です。すべてのFin顧客はFin AI Agent > Test > EvalsからEvalsを作成・実行できます。OperatorはProアドオンの一部で、Evalsの作成、実行、分析、スケジュールを代行します。
Evalの実行には数秒ではなく数分かかります。各Simulationは完全な複数ターン会話と採点を含むためです。実行はバックグラウンドで続行されるため、ページを離れて結果を後で確認できます。
Evalの実行には数秒ではなく数分かかります。各Simulationは完全な複数ターン会話と採点を含むためです。実行はバックグラウンドで続行されるため、ページを離れて結果を後で確認できます。
An Eval takes minutes rather than seconds to run, because each Simulation is a full multi-turn conversation followed by scoring. Runs continue in the background, so you can leave the page and come back for the results.
Finの回答が正しく見えてもSimulationが失敗するのはなぜですか？
Finの回答が正しく見えてもSimulationが失敗するのはなぜですか？
Handoffチェックを設定していない場合、Finの回答が正しく見えてもSimulationは失敗することがあります。その場合、SimulationはデフォルトのNo handoffチェックで採点され、Finがハンドオフすると失敗となります。
Evalsを自動実行にスケジュールできますか？
Evalsを自動実行にスケジュールできますか？
Operator Routineを使ってEvalsの自動実行をスケジュールできます。OperatorでEvalsを作成・実行する方法については記事をご覧ください。