メインコンテンツにスキップ

シミュレーション vs. バッチテスト vs. プレビュー

Finの3つのテストツール—シミュレーション、バッチテスト、プレビューの使いどきを学びましょう。

この記事では、Finの3つのテストツール—シミュレーション、バッチテスト、プレビューの使いどきを説明します。


クイックリファレンス:各ツールの役割

シミュレーション

バッチテスト

プレビュー

概要

単一のProcedureの自動化されたAI駆動のエンドツーエンドテスト。AIがシミュレートされた顧客として機能し、あなたが定義した成功基準に基づいて結果を評価します。

最大50問の質問に対してFinの回答を検証する質問応答型テストツール。コンテンツ、ガイダンス、users、言語、automationsにわたるFinの回答をテストします。

Finのトレーニングエリア全体で利用可能な手動のインタラクティブなテストパネル。メッセージを入力し、Finの応答とイベントログをリアルタイムで確認できます。

最適な用途

ライブ前に複雑なProcedureのロジックをエンドツーエンドで検証。Procedure更新後のリグレッション検出。エッジケースや分岐パスのテスト。

多くの質問にわたるコンテンツのカバレッジ確認。知識、ガイダンス、automationsのギャップ診断。audiences、ブランド、言語を跨いだプレローンチQA。

構築中の迅速な手動スポットチェック。コンテンツ、ガイダンス、属性、エスカレーション、またはProcedureへの特定の変更がFinの応答にどのように影響するかをその場で検証。

対応範囲

Procedureのみ。

Procedure、Tasks、または知識コンテンツを使用するすべてのFinのusers。

Finのすべてのトレーニングエリア:Content、Guidance、Attributes、Escalation、Procedures、Deploy。

テストモード

自動化—AIが会話の顧客側を生成し、合否判定で結果を評価。

自動化—Finが各質問に回答を生成。あなたが手動で回答を評価(良い/許容/悪い)。

手動—あなたがメッセージを入力し、Finの応答とイベントログを観察。

実際の会話を作成するか?

いいえ—完全にバックグラウンドで実行。inboxの会話は作成されません。

いいえ—シミュレーションのみ。inboxの会話は作成されず、顧客データにも影響しません。

はい—プレビューの会話はinboxに表示されますが、レポートには含まれません。

ライブAPIを呼び出すか?

いいえ—ライブの外部API(例:Shopify、Stripe)を呼び出さず、ロジックのみをテスト。

いいえ—データコネクタは設定されたテスト/サンプルペイロードを使用。ライブAPI呼び出しなし。

はい—特定のuserやリードとしてテストする際に実際のユーザーデータやライブ統合にアクセス可能。

保存と再実行

はい—シミュレーションは保存され、Procedureが更新されるたびに再実行可能。すべて実行もサポート。

はい—テストグループ(最大50問)は保存、再実行、チーム間で共有可能。

いいえ—一回限りの手動会話。保存や再実行は不可。

合否判定

はい—AIが会話を成功基準に照らして評価し、合格または不合格を理由付きで判定。

いいえ—あなたが各回答を良い、許容、悪いで手動評価し、根本原因を選択。

いいえ—自動判定なし。結果は自分で評価。

使用制限

はい—ワークスペースの会話量に基づく月間実行制限(50〜2,500/月)。Procedureに含まれ追加料金なし。

無料。テストグループごとに最大50問。

制限なし。

利用可能性

Procedureのみ—管理された利用可能性アクセスが必要。

基本的に、フルシートとAll conversations権限を持つすべてのFinの顧客が利用可能。

基本的にすべてのFinの顧客が利用可能。


各ツールの使いどき

シミュレーションを使うとき

  • Procedureをライブにする前にエンドツーエンドで検証する必要があるとき。

  • 更新後のリグレッションを検出する自動化された繰り返し可能なテストが必要なとき。

  • Procedureに分岐ロジック、Conditions、またはサブプロシージャがあり、各パスごとに別のテストケースが必要なとき。

  • AIに定義した成功基準(Finの返信、属性値、データコネクタ呼び出し、指示結果)に基づいて結果を判定してほしいとき。

  • シミュレーション時間やデータ値を制御して、時間制限のあるロジック(例:返金期間)をテストする必要があるとき。

バッチテストを使うとき

  • Finの回答を幅広い質問で検証したいとき—単一のシナリオだけでなく。

  • コンテンツ、ガイダンス、audiences、言語、またはブランドを跨いだプレローンチQAを行うとき。

  • Finが各回答でどの情報源を参照しているかを確認してコンテンツのギャップを診断したいとき。

  • 過去の実際の会話やAIトピックから生成された質問をテストしたいとき。

  • 結果をチームや上層部と共有するためにCSVレポートをダウンロードする必要があるとき。

プレビューを使うとき

  • 積極的に構築中で、コンテンツ、ガイダンス、属性、エスカレーションルール、またはProcedureへの変更をすぐにスポットチェックしたいとき。

  • 特定のuser、audience、または特定の言語で手動で会話を進めたいとき。

  • Finが適用した内容(パーソナリティ、ガイダンス、Tasks、コンテンツソース)を理解するためにイベントログを確認したいとき。

  • 画像やスクリーンショットを送信してFin Visionをテストしたいとき。

  • Procedureのフローを検証し、顧客とチームメンバーのinbox体験(下流のautomationsを含む)を完全に確認したいとき。


よくある質問

シミュレーションとプレビューの違いは?

  • プレビューは手動でインタラクティブ: あなたがメッセージを入力し、Finの応答をリアルタイムで見ます。構築中の迅速なスポットチェックに最適。

  • シミュレーションは自動化: AIが顧客として会話全体を実行し、設定した成功基準に基づいて結果を判定。

  • シミュレーションはinboxの会話を作成しませんが、プレビューは作成します。Procedureロジックを大規模に検証したいときはシミュレーションを、文脈内の手動テストにはプレビューを使いましょう。

シミュレーションとバッチテストの違いは?

  • バッチテストはFinの回答を幅広い質問でチェックし、コンテンツカバレッジ、ガイダンス、automationsを多くのシナリオでテスト。回答は手動で評価。

  • シミュレーションは単一のProcedureをエンドツーエンドで自動AI判定付きでテスト。

  • バッチテストはすべてのFin設定で動作。シミュレーションはProcedure専用。

バッチテストとプレビューの違いは?

  • バッチテストは最大50問の質問で構造化された繰り返し可能なQA実行—プレローンチチェックやコンテンツギャップ診断に有用。

  • プレビューは非構造的で手動—一度に1会話、構築中の即時フィードバックに便利。

  • バッチテストの結果は保存されCSVにエクスポート可能。プレビューの会話はinboxに表示されますがテスト実行としては保存されません。

シミュレーションはライブAPIを呼び出したり実データに影響しますか?

いいえ。シミュレーションはShopifyやStripeなどのライブ外部APIを呼び出さず、実データに影響しません。ロジックのみをテストします。実際のAPI呼び出しでテストする場合は、プレビューを使い、外部システムに実データがある特定のuserを選択してください。

シミュレーションやバッチテストは有料ですか?

シミュレーションはProcedureに含まれ追加料金なし。バッチテストも無料で使用可能(バッチテストで生成された回答に料金は発生しません)。

注意:シミュレーションには月間実行制限(会話量に応じて50〜2,500/月)があり、毎月1日にリセットされます。

バッチテストでProcedureをテストできますか?

バッチテストは特定の質問に対してProcedureがトリガーされるかを示しますが、Procedureを実行したりエンドツーエンドのロジックを評価しません。完全なProcedure検証(分岐、データコネクタ呼び出し、指示結果を含む)にはシミュレーションを使用してください。

ライブ前にどのテストツールを使うべき?

3つすべてを組み合わせて使いましょう:構築中の迅速な手動チェックにはプレビュー、エンドツーエンドのProcedureロジック検証には自動合否判定付きのシミュレーション、幅広い実際の顧客質問でのFinの回答確認にはバッチテスト。

Procedureのローンチ前に毎回シミュレーションを実行することを強く推奨します。


覚えておくべき重要な事実

  • シミュレーションはProcedure専用。Tasks、Workflows、一般的なコンテンツテストには使用できません。

  • バッチテストはProcedure、Tasks、または知識コンテンツを使用するすべてのFinの顧客に対応。

  • プレビューの会話はinboxに表示されますが、レポートには含まれません。

  • ライブAPIを呼び出せるのはプレビューのみ。シミュレーションとバッチテストは安全なサンドボックス環境です。

  • シミュレーションの実行制限はチームメンバー単位ではなくワークスペース単位で、月ごとにリセットされます。

  • バッチテストの回答評価はFinの学習には使われず、人間のレビューと根本原因分析のためだけに行われます。

  • シミュレーションでテストが合格しても、成功基準が厳しすぎる場合(例:Fin自身が特定の質問を見つける必要があるなど)、テストは失敗することがあります。成功基準は中間ステップではなく結果に焦点を当ててください。

こちらの回答で解決しましたか?