メインコンテンツにスキップ

Fin Proceduresのシミュレーションを実行する

シミュレーションを使ってProcedureの指示を検証し、自信をつけ、問題が顧客に影響を与える前に発見する方法を学びましょう。

シミュレーションにより、Fin Proceduresを検証し、自動化への自信を築き、顧客に影響が出る前に問題を発見できます。会話全体をモデル化することで、キャンセルや返金などの大量または複雑なシナリオを確実に処理できます。

時間のかかる手動チェックに代わるよう設計されたシミュレーションは、ビジネスロジックの進化に伴うFinの挙動の問題や徐々の変化を特定するのに役立ちます。


シミュレーションへのアクセス

シミュレーションはProcedureのテストパネル内にあります。アクセス方法は以下の通りです:

  1. テストしたいProcedureを開きます。

  2. キャンバスの右上にあるTestをクリックします。

  3. 右側パネルのSimulationsタブを選択します。


シミュレーションの作成

シミュレーションは、AI生成の提案を使って素早く開始する方法と、シナリオを手動で定義して完全にコントロールする方法の2通りで作成できます。

  • AI-generated simulations:指示に基づき、一般的または予想される顧客シナリオを素早くカバーするために使用します。Fin AIが時間を節約する「既製」のスターターテストを生成します。

  • Manual simulations:データの正確な制御、特定のエッジケース、またはロジックの特定の分岐が必要な場合に使用します。

AI-generated simulations

指示に基づき、Fin AIが「既製」のシミュレーションを素早く作成するためのスターターテストを生成します。

  1. Procedureの右側パネルのSimulationsタブを開きます。

  2. Suggested for these instructionsの下で、提案されたシナリオのリスト(例:「完全なキャンセルリクエスト」)を確認します。

  3. 提案の横にあるPlay iconをクリックして即座に実行します。

  4. シミュレーションが作成または提案から承認されるとリストに表示されます。Run allをクリックして保存したすべてのシミュレーションを一度に実行できます。

手動で作成したシミュレーション

Procedureの指示に基づき、特定のエッジケースをテストするためにシミュレーションをゼロから作成することもできます。

  1. Simulationsタブで+ Newをクリックします。

  2. Simulation name: シミュレーションにわかりやすいタイトルを付けます。

  3. Simulate as: 特定のuserまたはブランドを選択してパーソナライズをテストします。ワークスペース内の実際のusersのドロップダウンリストから選択できます。

  4. Customer's opening message: 顧客が送信する最初のメッセージを入力します(例:「注文の助けが必要です」)。エラーのスクリーンショットなどの画像を添付して、Finが視覚的コンテキストをどのように処理するかをテストできます。

  5. Additional details: 顧客の状況や取った特定の行動に関するガイダンスを提供します。

チャネルを選択

シミュレーションでは、Finがこのシミュレーションで使用するチャネルを選択でき、Finの挙動をテストできます。シミュレーションを実行する前に、チャネルのドロップダウンでMessengerEmailを切り替えます。

Note: Finはチャネルによって挙動が異なります。Emailでは、複数の情報を1つの応答にまとめて送信し、複数メッセージを送ることはありません。チャネルごとにガイダンスやコンテンツターゲティングも設定可能で、例えばEmailの応答はよりフォーマルなトーンや特定の導入文を含めることができます。

利用可能なデータを定義

Customer data available to Finセクションでは、テスト中にFinがアクセスできるデータを定義できます。これにより、曖昧な説明に頼らず正確なデータ値でテストできます。

  • Simulation time: シナリオが「いつ」発生しているかを定義します。特定の日付と時間を設定することで、顧客が30日間の返金期間内かどうかなど、時間に敏感なロジックをテストできます。

  • Attributes and Data Connectors: このセクションはProcedureで参照されている属性で事前入力されます。これらの値を更新して(例:People.Planを「Pro」に設定)、異なる分岐結果をテストします。

Note: シミュレーションを正確に実行するために、Finが「知っている」べきタイミングでデータを配置してください。

  • Use Attributes: 会話開始時にFinがすでに情報を知っている場合(例:顧客の現在のPlanや登録日)。

  • Use Additional details: 会話の途中で顧客が情報を提供する場合(例:顧客がフォローアップで「Order ID」を提供)。これにより、Finがそのデータを属性に正しくキャプチャし保存するかをテストできます。

Note: Customer data available to Finセクションには、Procedureの指示やコードブロックで明示的に参照されている属性のみが表示・保持されます。+ Add attributeボタンで手動追加した属性がProcedure内で参照されていない場合、保存後に消えます。永続的なカスタム値を追加するには、まずProcedure内でその属性を使用してください。

Finの挙動を評価する

テストが合格するために満たすべき条件を定義します。+ Add criteriaをクリックして選択してください:

  • Fin reply: 会話中にFinが言うべき(または言うべきでない)ことを指定します。

  • Attributes: 属性が設定されたか、設定されなかったか、特定の値と等しいか、等しくないかを検証します。

  • Data connector: コネクタがトリガーされたか、されなかったか、または正確にX回トリガーされたかを検証します。

  • Instruction outcome: 会話が特定の結論に達したか(終了、チームメイトへの引き継ぎ、別のProcedureへの切り替えなど)を確認します。

設定が完了したらSaveをクリックします。

Note: Saveをクリックすると、FinはAIを使ってシミュレーションフォームをレビューします。指示が不明瞭だったり成功条件が矛盾している場合、より正確な結果のための改善案が表示されます。

Tip: シミュレーション設計時は分岐ロジックを確認してください。ステップが複数の結果を示す場合(例:「カードブロックの理由を確認」)、各経路ごとに別のテストケースを作成します。これにより将来の更新で既存ロジックが壊れない「回帰安全ネット」が構築されます。条件やサブプロシージャがあるProcedureに推奨される方法です。


実行と結果の確認

テストを実行すると、右側のTestsパネルにステータスインジケーター付きで表示されます:

  • Running: テストが実行中です。

  • Passed: テストが実行され、すべての成功条件を満たしました。

  • Failed: テストは実行されましたが、定義された成功条件を満たしませんでした。

  • Queued: テストは開始されましたが、前のシミュレーションが終了するのを待ってから実行されます。

結果を調査するにはSee conversationをクリックします。これにより、シミュレーションされた顧客とFinのやり取りの全トランスクリプトが開き、フローの展開やテストの合否理由が簡単に確認できます。


シミュレーション使用制限

毎月実行できるシミュレーションの数に制限があります。この制限はワークスペース単位で適用され、毎月のカレンダー月の初日にリセットされます。

各ワークスペースには月ごとのシミュレーション実行数の割り当てがあります。割り当てはワークスペースの会話量セグメントに基づき、大きな顧客ほど多くの割り当てを受けます。

シミュレーションの割り当てはワークスペースの会話量に基づきます。

  • ワークスペースは前月の会話数を使ってセグメントに割り当てられます。

  • セグメントは毎月再評価され、割り当ては直近の月の会話量を反映します。

  • 会話量が増減すると、次の月のサイクルでシミュレーションの割り当てが変わることがあります。

Conversation Volume Segment

月ごとのシミュレーション制限

1K未満

50

1K–15K

200

15K–100K

350

100K–1M

1000

1M+

2500

使用状況の監視

テスト管理を支援するため、FinはSimulationsタブ内に視覚的インジケーターを提供します:

Usage warning

ワークスペースが月間制限の80%に達すると、黄色の警告バナーが表示されます。現在の使用状況(例:「85/100」)とリセット日時が示されます。

Limit reached

月間制限の100%に達すると、赤いエラーメッセージが表示されます。次の月の初めまでシミュレーションを実行できなくなります。

注意:制限に達しても、See conversationをクリックして過去のシミュレーション結果やトランスクリプトを確認できますが、RunRun allボタンは無効になります。


よくある質問

なぜ手動テストではなくシミュレーションを使うのですか?

手動テストは素早いスポットチェックや設定レビューに適していますが、シミュレーションは大規模にProcedureを検証し、複雑でリスクの高いシナリオでFinが確実に動作することを保証します。毎回のリリース前に実行することで予期せぬ挙動を早期に発見できます。

シミュレーションが失敗したらどうなりますか?

シミュレーションされた会話全体を確認して、Finが期待通りに動作しなかった理由を理解し、Procedureを調整して再実行できます。顧客への影響はありません。

Finが問題を解決したのにシミュレーションが「Failed」と表示されるのはなぜですか?

これは通常、成功基準が厳しすぎる場合に起こります。例えば、Finに「Order IDを尋ねる」ことを要求しているが、Finが自動的にIDを見つけた場合、質問をスキップしたためテストは失敗します。成功基準を特定の中間ステップではなく最終結果(例:「Procedure終了」)に焦点を当てて更新してください。

シミュレーションはProcedureとは別に請求されますか?

シミュレーションはProceduresに含まれており、別途請求されません。シミュレーションの実行で追加料金は発生しません。

なぜシミュレーション実行に制限があるのですか?

正確なAI予測を生成するにはリソースが必要なため、毎月の割り当てを設けています。これにより、標準的なユースケースで自由にProcedureをテストできる一方、過度な使用によるコストの暴走を防ぎます。

こちらの回答で解決しましたか?