注意: MonitorsはPro add-onの一部として利用可能です。
Monitorsはどの会話をレビューするかを定義します。基準を設定し、レビュアーを選び、品質評価用のスコアカードを添付します。稼働後はMonitorsが自動で動作し、該当する会話をチームに提示します。Monitorsは現在Fin AI Agentの会話のみを評価します。
モニターを最大限に活用するには、少なくとも1つのスコアカードが必要です。まだ設定していない場合はスコアカードの作成と設定をご覧ください。
Monitorsにアクセスするには、Analyze > Monitorsに移動します。+ Monitorをクリックして開始します。テンプレートを選ぶか、ゼロから始めてください。
ヒント: モニターの設定時にスコアカードを添付できるため、最初のモニター作成前に少なくとも1つのスコアカードを用意しておくと時間を節約できます。
注意: 閲覧のみ権限のチームメイトは、モニターやスコアカードの作成、編集、削除ができません。
ステップ1: 会話を選択
モニターに名前を付け、レビューする会話を選択します。
モニターは以下を対象にできます:
ランダムサンプル — 例えば、基準QAのための週次のFin会話サンプル
特定のシグナルやリスクに基づくターゲットセット — 例えば、顧客が金融的脆弱性の兆候を示すすべての会話
以下を使って会話を絞り込めます:
正確なフィルター — 解決状態、トピック、CXスコアなど
フラグ基準 — フラグ付けしたい会話の種類を記述する自然言語入力。効果的な基準の書き方は効果的なMonitorとScorecard基準の書き方をご覧ください。
注意: 1つの会話が複数のMonitorsに表示されることがあります。各Monitorは独立して動作するため、複数のMonitor基準に合致するとそれぞれでフラグが立ちます。会話をクリックすると、なぜそのMonitorでフラグが立ったかが正確に表示されます。
ステップ2: モニタリングモードを選択
モニターの実行方法を選択します:
継続的: 新しい会話が終了すると自動的に一致し、継続的に実行されます
一回限り: 過去データの会話のみを対象にバックフィル。設定後に終了した新しい会話は含まれません
スケジュール: 毎日または毎週の定期的なスケジュールで実行し、チームメイトが定期的に会話をレビューできます
ステップ3: 開始日を選択
モニターが会話の評価を開始する日時を選択します。これにより、特定の時点から過去の会話のQAを実行し、その日以降の新しい一致会話も継続的に表示できます。
注意: モニター作成時は最大90日分の過去会話をバックフィルできます。その後は新しい一致会話を自動で取得し続けます。
ステップ4: 会話が追加されるタイミングを選択
会話がモニターに一致するタイミングを制御します。これにより、モニターが会話を評価するタイミングと、スコアカードが添付されている場合はスコアカードが実行されるタイミングが決まります。
Fin is done — Finが完全に処理を終えた後（解決、エスカレーション、または顧客の返信なしでフォローアップ）に会話が追加されます
会話が終了したとき — 会話がチームメイトまたはFinによって終了された後にのみ会話が追加されます
この設定を使って評価のタイミングをワークフローに合わせて調整できます。Finが終了した直後に評価するか、会話が正式に終了した後に評価するかを選べます。
ステップ5: レビュアーを選択
レビュアーセクションで1人以上のチームメイトを選択します。新しく一致した会話は自動的にラウンドロビン方式で割り当てられ、手動の負担なくレビューの負荷が均等に保たれます。
注意: 添付されたスコアカードに自動レビューが有効な場合、レビュアーのステータスは自動レビュー済みと表示されます。これらの会話はAIが失敗を検出したり基準のスコア付けに自信がない場合を除き、手動の未レビューキューをバイパスします。
この例では、モニターが脆弱な顧客の会話にフラグを立て、設定した開始日から一致を見つけ始めます:
これらの会話は選択したレビュアーに自動的に割り当てられ、手動でスコア付けが必要な基準を完了します:
ステップ6: スコアカードを添付
モニターにスコアカードを関連付けて、定義された基準に基づき一致したすべての会話を自動的に評価します。選択後、会話がモニターに追加されるとスコアカードが実行され、結果はモニターで報告・レビューに表示されます。
会話がすでにモニターに追加された後にスコアカードを添付した場合、それ以前の会話は遡って評価されず、スコアは表示されません。スコアカード添付後に追加された会話のみがスコア付けされます。
ヒント: スコアカードを添付することでモニターが本当に役立ちます。添付しなければ会話はフラグが立つだけでスコア付けされません。まだスコアカードを作成していない場合はスコアカードの作成と設定をご覧ください。
モニターをオンにする前にテストする
自然言語のフラグ基準を使うMonitorsでは、Test Monitorツールを使って実際の会話に対して基準を検証し、モニター作成や更新前にどの会話がフラグ付けされるかを確認できます。ミスマッチを強調表示し、表現を調整して誤検知や見逃しを減らせます。
ヒント: フラグ基準を使うすべてのモニターはオンにする前にテストすることを強く推奨します。
フラグ基準セクションでRun testをクリックするか、右上のTestボタンをクリックします。
サンプル会話をレビュー
既存のMonitorsでは、このリストに最近フラグが立った会話と立たなかった会話が自動的に表示されます。特定のエッジケースをテストするために追加の会話URLやIDを貼り付けることもできます。
結果を確認
各会話について、Monitor結果（フラグあり／なし）をレビューし、正しいかどうかをマークします。評価の概要は合格率を示し、ミスマッチを強調表示します。
注意: モニターに含まれる会話は、Finからのメッセージが最低2件、顧客からのメッセージが最低2件含まれている必要があります。
改善と再テスト
フラグ基準の説明を更新し、結果がモニターで捉えたい内容を正確に反映するまでテストを繰り返します。表現を改善ボタンを使うと、AIが自動でフラグ基準を言い換え、言葉を絞り込み精度を向上させるのに役立ちます。
Monitorが作成されると、マッチを見つけ始め、Monitorsページに表示されます。必要に応じて後で設定を編集できます。
大規模なレビュー管理
各Monitorを個別に確認する代わりに、Monitorsページの2つの集中ビューでチームの作業負荷を管理します：
未レビューの会話 — AIがスコアカードを完了できなかった会話や人間のレビュアーが特に割り当てられた会話を含む、手動レビューが必要なすべての会話の統一キュー
修正が必要 — AIまたは人間によってレビューされ、不合格ステータス（例：Reviewed + fix needed）とマークされた会話を自動的にキャプチャ
Monitorsのアーカイブと復元
Monitorsページを整理するために、もはや積極的に追跡する必要のないMonitorをアーカイブできます。アーカイブはMonitorをデフォルトビューから非表示にしますが、削除や履歴データの消去はしません。
Monitorのアーカイブ方法
Monitorsページの任意のMonitorカードの三点リーダーメニューをクリックし、Archive monitorを選択します。Monitorはメインビューから非表示になりますが、Archived monitorsフィルターでアクセス可能です。
Monitorの復元方法
Monitorsページでフィルタードロップダウンを使い、Archived monitorsに切り替えます。Monitorカードの三点リーダーメニューをクリックし、Restore monitorを選択します。確認ダイアログで、オプションとしてBackfill missed conversations from the last 2 weeksを有効にして、アーカイブ中に発生した会話を補完できます。Restoreをクリックして再有効化します。
レビューの完了方法
MonitorsページのUnreviewedキューに移動します。
会話を選択します。
不足しているスコアカードの基準を入力します。AI生成のスコアは評価をクリックして上書き可能です。すべてのスコアを入力してもレビュー状態は自動更新されないため、スコアリング完了後に手動で設定してください。
必要に応じてメモを追加します。例：「this needs a content update」。
すべての基準にスコアを付けたら、結果を反映するようにレビュー状態を手動で設定します。例：アクション不要ならReviewed、修正が必要ならReviewed + fix needed。Reviewed + fix neededとマークされた会話は、自動的にフォローアップアクションが必要なキューに移動し、チームが対応します。
AI生成のスコアは必要に応じて人間のレビュアーが上書きできます。レビュアーは自分の名前でキューをフィルタリングし、割り当てられた会話に集中できます。
QAレビュー状態ラベル
レビュー状態ラベルは一貫したReviewedプレフィックスを使用し、レビュー結果と必要なアクションを明確に区別します。
ラベル | 意味 |
Unreviewed | まだレビューが行われていません |
Reviewed | レビュー完了、アクション不要 |
Reviewed + fix needed | レビュー完了、修正が必要 |
Reviewed + won’t fix | レビュー完了、問題は認識されましたが対応されません |
Reviewed + fixed | レビュー完了、修正が適用されました |
Monitorの制約
以下の制約に注意してください：
会話にはMonitorに含まれるために、Finからのメッセージが最低2件、顧客からのメッセージが最低2件必要です。
MonitorsはFin Voiceの会話をサポートしていません。
顧客ticketsおよびtracker ticketsはMonitorsにマッチしません — 会話のみです。
Monitorを初めて作成する際、最大90日分の過去の会話をバックフィルできます。
自然言語フラグ基準を使って最大20個のMonitorを作成できます。事前定義フィルターを使うMonitorは無制限です。
ワークスペース内のすべてのスコアカードで最大20個のAIスコア基準を作成できます。
同じ会話が複数のMonitorに表示されることはありますか？
同じ会話が複数のMonitorに表示されることはありますか？
はい、各Monitorは独立したyes/noチェックとして動作するため、会話が複数のMonitor基準にマッチすると、それぞれでフラグが立ちます。会話をクリックすると、その特定のMonitorがフラグを立てた理由が正確に表示されます。
会話が評価されてから再度オープンした場合、再評価されますか？
会話が評価されてから再度オープンした場合、再評価されますか？
いいえ。会話はMonitorごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再オープンしても、同じMonitorバージョンでは再マッチや再評価はされません。元の評価のみが記録されます。
MonitorsはFin Voiceに対応していますか？
MonitorsはFin Voiceに対応していますか？
いいえ、Fin Voiceは現在Monitorsでサポートされていません。
ticketsはMonitorsで評価されますか？
ticketsはMonitorsで評価されますか？
いいえ、顧客ticketsもtracker ticketsもMonitorsにマッチしません — 会話のみです。
誰が権限を割り当てたり変更したりできますか？
誰が権限を割り当てたり変更したりできますか？
ワークスペースの管理者のみがチームメンバーの権限を有効化または変更できます。管理者権限がない場合は、管理者に設定の更新を依頼してください。閲覧のみ権限のチームメンバーはMonitorやスコアカードの作成、編集、削除ができません。
会話をレビューするには両方の権限が必要ですか？
会話をレビューするには両方の権限が必要ですか？
日常的なレビュー（会話の閲覧、scorecardsの記入）には、Can view FinとAutomation settingsの権限だけで十分です。Monitorsやscorecardsの作成、編集、削除が必要な場合は、2つ目の権限（Can create, edit and internally share Reports）が必要です。
Monitorが評価するための最小会話長は何ですか？
Monitorが評価するための最小会話長は何ですか？
Monitorに含めるには、会話にFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。