メインコンテンツにスキップ

評価用シミュレーションの設定

シミュレートされた顧客、Finが見るデータ、Finが評価されるチェックを定義するか、Operatorとの実際の会話からシミュレーションを作成します。

この記事を使ってシミュレーションを設定します:シミュレートされた顧客を定義し、会話開始時にFinが見るデータを制御し、Finを評価するためにLLM(大規模言語モデル)判定者が使うチェックを選択するか、実際の会話からシミュレーションを作成します。


シミュレーションエディターの開き方

シミュレーションを設定するには、開いて編集をクリックするか、評価ページで新しいシミュレーションをクリックします。エディターは3つのセクションに分かれています:シミュレートされた顧客、Finが見るデータ、LLM判定者がFinを評価する方法。完了したら保存をクリックし、次に実行をクリックしてテストします。

シミュレーションエディターは3つのセクションがあります:シミュレートされた顧客の定義、Finデータの定義、LLM判定者の動作の定義、さらにOperator、メニュー、保存、実行ボタンが上部にあります。


シミュレートされた顧客の定義方法

シミュレートされた顧客の定義セクションは、Finが話す相手を設定します。

  • タイトル(任意):追加しない場合、シミュレーション名は顧客の最初のメッセージと一致します。

  • シミュレートする相手:Finが話す顧客、例えばテスト顧客、およびブランドはすべてのブランドとして表示されます。

  • チャネル:チャットまたはメール。

    シミュレーションエディターで開かれたチャネルメニュー。選択されているチャットとメールのオプションが表示されています。
  • シミュレーション時間:シミュレーションで使用する固定の日付と時刻。顧客のタイムゾーンを使用し、設定がなければGMT(グリニッジ標準時)を使用します。初期状態は未設定です。

    シミュレーションエディターで開かれたシミュレーション時間メニュー。日付と時刻フィールドは未指定に設定され、2026年11月のカレンダーが表示されています。
  • 顧客の最初のメッセージ(必須):シミュレートされた顧客がFinに最初に話す内容。

  • フォローアップ指示:顧客が知っていること、尋ねられた場合に共有する内容、コミュニケーション方法。Finはこれらを使って顧客側の会話を生成し、リアルな複数ターンのシミュレーションを実現します。

シミュレートされた顧客の選び方

デフォルトでは、すべてのシミュレーションはテスト顧客として実行されます。テスト顧客はすべてのaudiencesに属しているため、Finはすべてのライブコンテンツ、ガイダンス、自動化を利用できます。これはFinの知識を確認するのに便利ですが、特定の顧客が体験する内容は示しません。

audienceターゲティングをテストするには、代わりにワークスペースの実際の顧客またはleadをシミュレートします。Finはその顧客が対象となるコンテンツ、ガイダンス、手順、データコネクターのみを見て、ライブ会話と同様に動作します。

  1. シミュレーションエディターでシミュレートされた顧客の定義に移動します。

  2. シミュレートする相手の隣でテスト顧客をクリックし、顧客またはleadを選択します。

  3. リストを絞り込むには、検索ボックスの下のドロップダウンからaudienceを選択します。デフォルトはすべての人で、そのaudienceに現在いるusersとleadsが表示されます。

  4. 名前、メール、または顧客IDで検索し、Finが話す相手を選択します。

シミュレーション実行時、その人の属性、会社、タグを使用します。特定のシナリオをテストするには、Define Fin data(任意) > 開始属性値でこれらを上書きします。設定しなかったものは顧客の既存値を使用します。

注意:

  • 会話属性を使うaudiencesやブランドでフィルターするaudiencesは、会話がまだ発生していないため選択できません。別のaudienceを使うか、すべての人を検索して顧客を選択できます。

  • audienceは顧客を見つけるためだけに使われ、シミュレーションには保存されません。各実行時に顧客のデータで属するaudiencesをチェックするため、結果は変わる可能性があります。

  • 選択できるのはusersとleadsのみです。訪問者は利用できません。

  • テスト顧客(デフォルト)に戻すと、そのシミュレーションのaudienceターゲティングはオフになります。

シミュレーションの実行時間と評価に保持できる数は?

シミュレーションはFinから最大6回の返信後、またはFinが会話を解決、引き継ぎ、シミュレートされた顧客が会話を終了した時点で終了します。各評価は最大50のシミュレーションをサポートします。追加するには既存のシミュレーションを削除するか、新しい評価に追加してください。


シミュレーションでFinが見るデータの定義方法

任意のDefine Fin dataセクションは、シミュレーション開始時にFinが見るデータを制御します。

  • 開始属性値:会話開始時にFinが見る属性値。設定するには属性を追加をクリックします。

  • データレスポンス:シミュレーションでは、データコネクターは常に保存されたテストレスポンスを返し、ライブデータは返しません。コネクターのレスポンスをカスタマイズをクリックすると、このシミュレーション専用にテストレスポンスを変更できます。


LLM判定者がFinを評価する方法の定義

Define LLM judge's behaviorセクションは、Finの回答がどのように評価されるかを定義します。2つの部分があります:シミュレーションチェックと引き継ぎ。

シミュレーションチェックの追加方法

シミュレーションチェックは、Finが合格するために言うべきことや行うべきことを説明します。追加するには追加をクリックし、チェックタイプを選択します。

  • Finの返信:会話中にFinが言うべきことを説明します。期待される各応答を別々の成功基準に分けます。

  • 手順開始:Finが特定の手順を開始しました。

  • 手順切り替え:Finが会話中にある手順から別の手順に移動しました。

  • スキル:Finが特定のスキルを使用しました。

  • データコネクター:Finが特定のデータコネクターを呼び出しました。

シミュレーションチェックの下に開かれた追加メニュー。Finの返信、手順開始、手順切り替え、スキル、データコネクターがリストされています。

期待される引き継ぎの設定方法

引き継ぎは会話終了時に何が真であるべきかを説明します。次のオプションから選択してください:

  • 引き継ぎなし:Finはチームやワークフローに引き継ぎませんでした。

  • チームまたはチームメイトに引き継ぎ:Finが回答できなかったか、引き継ぎガイダンスが適用されました。

  • ワークフローに引き継ぎ:引き継ぎ後は会話がシミュレートされません。

パスワードリセットの手順や指示を提供したFinの返信チェックと、引き継ぎメニューが開かれています。引き継ぎなし、チームまたはチームメイトに引き継ぎ、ワークフローに引き継ぎの各オプションと短い説明が表示されています。

重要:シミュレーションに引き継ぎチェックもシミュレーションチェックもない場合、デフォルトの引き継ぎなしチェックで評価され、Finが引き継ぐと失敗します。このデフォルトはエディターに表示されないため、各シミュレーションに明示的な引き継ぎチェックを追加してください。

シミュレーションを設定したら、「評価の実行方法と結果の読み方」記事を参照してください。


実際の会話からシミュレーションを作成する方法

実際の顧客との会話からシミュレーションを作成するには、会話のリンクをコピーしてOperatorにシミュレーション作成を依頼します。シナリオを自分で入力する必要はありません。

実際の会話から作成されたシミュレーションはリプレイと呼ばれます。リプレイはFinの回答までの会話をキャプチャし、以前のメッセージを固定します。実行するたびにFinはその1つの返信だけを生成するため、毎回変わる会話ではなく、重要な応答をテストできます。これによりリプレイは実際の問題をテストに変える最速の方法となります。

Fin会話のリンクをコピーする方法

Fin会話リストで会話を開き、メッセージのオプションメニューを使ってリンクをコピーします。

  1. Finで分析 > 会話に移動し、テストしたい会話を開きます。

  2. 会話内のメッセージにカーソルを合わせ、表示されるオプションメニュー(...)をクリックします。

  3. リンクをコピーをクリックします。

すべての会話リストから開かれたFin会話で、メッセージ横のオプションメニューが開いています。メニューには検索アクション、リンクをコピー(強調表示)、削除がリストされています。

リンクをOperatorとのチャットに貼り付けます。次のセクションで説明しています。

Operatorでシミュレーションを作成する方法

Operatorに会話のシミュレーション作成を依頼すると、顧客の最初のメッセージを再生し、選択した評価にシミュレーションを提案します。

注意:Operatorでシミュレーションを作成するには、Proアドオンが必要です。

  1. Operatorとのチャットでこの会話のシミュレーションを作成と書き、会話を追加します。

  2. Operatorの質問に答えます:どの評価にシミュレーションを入れますか?とFinは会話をどう終えるべきですか?例えば、Finが引き継ぎなしで解決する場合はFinが自分で回答(引き継ぎなし)を選びます。

  3. 提案されたシミュレーションを確認し、Finメインに公開をクリックして評価に追加します。

Operatorとの会話シミュレーションチャット。リクエストは「この会話のシミュレーションを作成」で、会話リンクが続き、OperatorはFinテストシナリオの実行と会話調査のためのツールを読み込んでいます。

Finメインに公開をクリックするまで、シミュレーションは保留中の変更として残り、実行できません。

Operatorチャット横に表示されたリプレイシミュレーション。シミュレーションパネルには顧客の最初のメッセージと、シミュレーション実行時にFinが単一の返信を生成するプレースホルダー、ソース会話を見るボタン、チャネル、時間、ユーザー、ブランドの設定リストが表示されています。上部にFinメインに公開ボタンがあります。

Operatorでリプレイシミュレーションを編集する方法

リプレイシミュレーションを編集するには、同じチャットでOperatorに変更を依頼します。例えばチームメイトに引き継ぐよう更新。Operatorはシミュレーションチェックの編集を提案し、Finメインに公開をクリックして保存します。

チームメイトに引き継ぐよう更新のリクエスト後、Operatorチャット横に表示されたリプレイシミュレーション。シミュレーションパネルには保留中の変更が表示され、引き継ぎチェックは引き継ぎなしからデフォルトチームへの引き継ぎに変わり、Finの返信チェックは顧客をチームメイトに接続する提案を期待する内容に書き換えられています。チャットには1件の保留中変更バーとFinメインに公開ボタンがあります。

リプレイシミュレーションには何が含まれますか?

Finメインに公開をクリックすると、リプレイシミュレーションは選択した評価に表示され、顧客の最初のメッセージが名前になります。評価から開くと以下の部分が見えます:

Operatorで作成されたリプレイシミュレーションがFin AI Agent > テスト > 評価から開かれています。シミュレートされた顧客の定義セクションにはシミュレートする相手、ブランド、チャネルはチャット、シミュレーション時間が表示されています。その下に初期会話コンテキストとしてソース会話の3つのメッセージ、Finの単一返信の破線プレースホルダー、ソース会話を見るボタン、フォローアップ指示フィールドがあります。上部にOperator、保存、実行ボタンがあります。
  • 初期会話コンテキスト:ソース会話の顧客メッセージまでの内容と、シミュレーション実行時にFinの単一返信が表示されるプレースホルダー。

  • ソース会話を見る:元の会話へのリンク。

  • シミュレートされた顧客の定義:シミュレートする相手、ブランド、チャネル、シミュレーション時間。

  • フォローアップ指示:Finの最初の返信後に顧客が言う内容の任意の指示。追加には少なくとも1つのシミュレーションチェックが必要で、Finが評価される対象ができます。

注意:リプレイシミュレーションの一部は編集できません。シミュレートされた顧客の定義セクションも含まれます。これらはソース会話から来ています。Finが評価される内容を変えたい場合は、シミュレーションチェックを編集するか、Operatorに更新を依頼してください。

リプレイを使ってFinの回答を修正する方法

リプレイでFinの回答を修正するには、実行してFinの設定を変更し、合格するまで再実行します。

  1. リプレイを実行して現在の設定でFinがどう答えるか確認します。

  2. 変更を加える:回答の内容、ガイダンス、手順、スキルを変更します。変更をライブ前にテストするにはリリースで行います。

  3. リプレイを再実行し、シミュレーションの実行履歴ドロップダウンで新旧の回答を比較します。

  4. 「修正済み」の定義となるチェックを追加します。例えばFinの返信チェックや引き継ぎチェックで、判定ではなく明確な合否を得られます。

  5. 合格したらリプレイを保持します。これで回帰テストとして機能し、将来の変更後も修正が維持されているか再実行で確認できます。

こちらの回答で解決しましたか?