この記事では、Finの3つのテストツール—シミュレーション、バッチテスト、プレビューの使いどきを説明します。
クイックリファレンス:各ツールの役割
| シミュレーション | バッチテスト | プレビュー |
概要 | 単一のProcedureの自動化されたAI駆動のエンドツーエンドテスト。AIがシミュレートされた顧客として機能し、あなたが定義した成功基準に基づいて結果を評価します。 | 最大50問の質問に対してFinの応答を検証する質問応答型テストツール。コンテンツ、ガイダンス、users、言語、automationsにわたるFinの回答をテストします。 | Finのトレーニングエリア全体で利用可能な手動のインタラクティブなテストパネル。メッセージを入力し、Finの応答とイベントログをリアルタイムで確認できます。 |
最適な用途 | ライブ前に複雑なProcedureのロジックをエンドツーエンドで検証。Procedure更新後のリグレッション検出。エッジケースや分岐パスのテスト。 | 多くの質問にわたるコンテンツカバレッジの確認。知識、ガイダンス、automationsのギャップ診断。audiences、ブランド、言語を横断した事前QA。 | 構築中の迅速な手動スポットチェック。content、guidance、属性、エスカレーション、またはProcedureへの特定の変更がFinの応答にどのように影響するかを即時に検証。 |
対応範囲 | Procedureのみ。 | Procedure、Tasks、または単なる知識コンテンツを使用しているすべてのFinのcustomers。 | Finのすべてのトレーニングエリア:Content、Guidance、Attributes、Escalation、Procedures、Deploy。 |
テストモード | 自動化—AIが会話の顧客側を生成し、合否判定で結果を評価。 | 自動化—Finが各質問に回答を生成。あなたが手動で回答を評価(良い/許容/悪い)。 | 手動—あなたがメッセージを入力し、Finの応答とイベントログを観察。 |
実際の会話を作成するか? | いいえ—完全にバックグラウンドで実行。inboxの会話は作成されません。 | いいえ—シミュレーションのみ。inboxの会話は作成されず、顧客データに影響しません。 | はい—プレビューの会話はinboxに表示されますが、レポートには含まれません。 |
ライブAPIを呼び出すか? | いいえ—ライブの外部API(例:Shopify、Stripe)は呼び出さず、ロジックのみをテスト。 | いいえ—データコネクタは設定されたテスト/サンプルペイロードを使用。ライブAPI呼び出しなし。 | はい—特定のuserまたはleadとしてテストする際に実際のユーザーデータとライブ統合にアクセス可能。 |
保存と再実行 | はい—シミュレーションは保存され、Procedureが更新されるたびに再実行可能。すべて実行もサポート。 | はい—テストグループ(最大50問)は保存、再実行、チーム間共有可能。 | いいえ—一回限りの手動会話。保存や再実行は不可。 |
合否判定 | はい—AIが会話を成功基準に照らして評価し、合格または不合格を理由付きで判定。 | いいえ—あなたが各回答を良い、許容、悪いで評価し、根本原因を選択。 | いいえ—自動判定なし。結果は自分で評価。 |
使用制限 | はい—ワークスペースの会話量に基づく月間実行制限あり(250~12,500/月)。Procedureに含まれ追加料金なし。 | 無料。テストグループごとに最大50問。 | 制限なし。 |
利用可能性 | 一般的にProcedureを使用するすべてのcustomersが利用可能。 | 一般的にフルシートとAll conversations権限を持つすべてのFinのcustomersが利用可能。 | 一般的にすべてのFinのcustomersが利用可能。 |
各ツールの使いどき
シミュレーションを使うとき
Procedureをライブにする前にエンドツーエンドで検証する必要があるとき。
更新後のリグレッションを検出する自動化された繰り返し可能なテストが欲しいとき。
Procedureに分岐ロジック、Conditions、サブプロシージャがあり、パスごとに別のテストケースが必要なとき。
AIに定義した成功基準(Finの応答、属性値、データコネクタ呼び出し、指示結果)に基づいて結果を判定してほしいとき。
シミュレーション時間とデータ値を制御して時間依存ロジック(例:返金期間)をテストする必要があるとき。
注意:シミュレーション時間はFin自身の推論で使う自然言語の日付ロジックの日付のみを制御します。datetime.datetime.now()を呼ぶPythonコードの条件は常に実際のシステム日付を読みます。コードベースの日付分岐をテストするには、実際のカレンダー日付でシミュレーションを実行するか、コードではなく自然言語で条件を書き換えてください。
バッチテストを使うとき
Finの回答を幅広い質問で検証したいとき—単一シナリオだけでなく。
content、guidance、audiences、言語、ブランドを横断した事前QAを行うとき。
Finが各回答にどの情報源を使っているかを見てコンテンツのギャップを診断したいとき。
過去の実際の会話やAIトピックから生成された質問をテストしたいとき。
結果をチームや上層部と共有するためにCSVレポートをダウンロードしたいとき。
プレビューを使うとき
積極的に構築中で、content、guidance、属性、エスカレーションルール、Procedureの変更をすぐにスポットチェックしたいとき。
特定のuser、audience、言語で手動で会話を進めたいとき。
Finが適用した内容(パーソナリティ、guidance、tasks、content sources)を理解するためにイベントログを見たいとき。
画像やスクリーンショットを送ってFin Visionをテストしたいとき。
Procedureのフローを検証し、顧客とチームのinbox体験(下流のautomations含む)を完全に見たいとき。
よくある質問
シミュレーションとプレビューの違いは?
シミュレーションとプレビューの違いは?
プレビューは手動でインタラクティブ:自分でメッセージを入力し、Finの応答をリアルタイムで見ます。構築中の迅速なスポットチェックに最適。
シミュレーションは自動化:AIが顧客役を務め、会話全体を実行し、設定した成功基準に基づいて結果を判定。
シミュレーションはinboxの会話を作成しませんが、プレビューは作成します。Procedureロジックを大規模に検証したいときはシミュレーションを、文脈内の手動テストにはプレビューを使いましょう。
シミュレーションとバッチテストの違いは?
シミュレーションとバッチテストの違いは?
バッチテストはFinの回答を幅広い質問でチェックし、コンテンツカバレッジ、guidance、automationsを多くのシナリオで同時にテスト。回答は手動で評価。
シミュレーションは単一のProcedureをエンドツーエンドで自動AI判定付きでテスト。
バッチテストはすべてのFinセットアップで動作。シミュレーションはProcedure専用。
バッチテストとプレビューの違いは?
バッチテストとプレビューの違いは?
バッチテストは最大50問の質問で構造化された繰り返し可能なQA実行—事前チェックやコンテンツギャップ診断に有用。
プレビューは非構造的で手動—一度に1会話、構築中の即時フィードバックに便利。
バッチテスト結果は保存されCSVにエクスポート可能。プレビュー会話はinboxに表示されるがテスト実行としては保存されない。
シミュレーションはライブAPIを呼び出すか?実データに影響するか?
シミュレーションはライブAPIを呼び出すか?実データに影響するか?
いいえ。シミュレーションはライブの外部API(ShopifyやStripeなど)を呼び出さず、実データに影響しません。ロジックのみをテストします。実際のAPI呼び出しでテストする場合は、プレビューを使い、外部システムに実データがある特定のuserを選択してください。
シミュレーションやバッチテストは有料ですか?
シミュレーションやバッチテストは有料ですか?
シミュレーションはProcedureに含まれ追加料金なし。バッチテストも無料で使用可能(バッチテストで生成された回答に料金は発生しません)。
注意:シミュレーションには月間実行制限(会話量に応じて250~12,500/月)があり、毎月1日にリセットされます。
バッチテストでProcedureをテストできますか?
バッチテストでProcedureをテストできますか?
バッチテストは特定の質問に対してProcedureが起動するかを示しますが、Procedureの実行やエンドツーエンドのロジック評価は行いません。分岐、データコネクタ呼び出し、指示結果を含む完全なProcedure検証にはシミュレーションを使用してください。
ライブ前にどのテストツールを使うべきですか?
ライブ前にどのテストツールを使うべきですか?
3つすべてを組み合わせて使いましょう:構築中の迅速な手動チェックにはプレビュー、エンドツーエンドのProcedureロジック検証には自動合否判定付きのシミュレーション、幅広い実際の顧客質問に対するFinの回答確認にはバッチテスト。
Procedureの各リリース前にシミュレーションを実行することを強く推奨します。
覚えておくべき重要な事実
シミュレーションはProcedure専用。Tasks、Workflows、一般的なコンテンツテストには使用できません。
バッチテストはProcedure、Tasks、または単なる知識コンテンツを使用するすべてのFinのcustomersで利用可能。
プレビューの会話はinboxに表示されますが、レポートには含まれません。
ライブAPIを呼び出せるのはプレビューのみ。シミュレーションとバッチテストは安全なサンドボックス環境です。
シミュレーションの実行制限はチームメンバー単位ではなくワークスペース単位で、毎月リセットされます。
バッチテストの回答評価はFinの学習には使われず、人間のレビューと根本原因分析のためだけです。
シミュレーションでテストが合格しても成功基準が厳しすぎる場合(例:Fin自身が特定の質問を見つける必要があるなど)、テストは失敗することがあります。成功基準は中間ステップではなく結果に焦点を当ててください。
