モニターとスコアカードの違いは何ですか?
モニターとスコアカードの違いは何ですか?
それぞれ異なる役割を持ち、連携して機能します。
モニターはどの会話をレビューするかを定義します — 条件(フィルターや自然言語フラグ条件)を設定し、モニターが自動的に該当する会話を抽出します。
スコアカードは各会話の評価方法を定義します — 評価基準、評価オプション、レビュアー(またはAI)が品質を評価するための採点ルールを設定します。
スコアカードなしのモニターは会話をフラグ付けしますが、採点はしません。完全なQAワークフローには両方が必要です。
モニターやスコアカードの基準を作成できる数に制限はありますか?
モニターやスコアカードの基準を作成できる数に制限はありますか?
はい、以下の制限があります。
自然言語フラグ条件を使用するモニターは最大20件まで。事前定義フィルターを使うモニターは無制限です。
AI採点のスコアカード基準は最大20件まで。手動採点基準は無制限です。
複数のモニターを同時に実行できますか?
複数のモニターを同時に実行できますか?
はい、必要なだけモニターを作成でき、それぞれ異なる会話タイプや品質シグナルを対象にできます。例えば、ランダムなベースラインサンプル用、低CXスコア会話用、ポリシーリスクとしてフラグ付けされた会話用などです。各モニターは独立して動作します。自然言語フラグ条件を使うモニターは20件までの制限がありますが、事前定義フィルターを使うモニターは無制限です。
作成後にモニターを編集できますか?
作成後にモニターを編集できますか?
モニターは作成後に部分的に編集可能です。モニター名、フラグ条件、フィルター、レビュアー、添付されたスコアカードはMonitorsページからいつでも更新できます。変更を保存すると、更新された条件に合致するすべての会話が自動的に再評価されます。
ただし、モニタリングモード(連続、単発、スケジュール)、開始日、サンプリング制御(例:1日または1週間あたりの会話数)は、一度保存してライブ設定されると変更できません。これらはモニターの動作やバックフィルの作成方法を制御するためです。
これらのロックされた設定を変更する必要がある場合は、新しい設定で新しいモニターを作成することを推奨します。Monitorsページの三点リーダーメニューからDuplicate monitorオプションを使うと、既存のモニターをコピーして素早く調整できます。
注意:既存のモニターに新しいスコアカード基準を追加すると、再採点が完了するまで影響を受けた会話がスコアカードレベルで未採点と表示されることがあります。既存の個別レビューは削除・変更されず、新しい基準がまだ評価されていない会話のスコアカード集計のみリセットされます。再採点は保存時に過去の会話を更新する場合に自動でバックグラウンドで実行されます。将来のみの採点で保存した場合、既にレビュー済みの会話は更新されません。
モニターを一時停止またはアーカイブする方法はありますか?
モニターを一時停止またはアーカイブする方法はありますか?
はい、モニターをアーカイブしてMonitorsページのメイン画面から非表示にできます。アーカイブはモニターを削除する唯一のサポートされた方法で、完全削除はできません。アーカイブされたモニターはすべての履歴データと会話数を保持します。アーカイブするには、任意のモニターカードの三点リーダーメニューをクリックし、Archive monitorを選択します。アーカイブ済みモニターを見るには、MonitorsページのフィルタードロップダウンからArchived monitorsを選択します。アーカイブ済みモニターはいつでも復元可能です。
アーカイブしたモニターを復元するには?
アーカイブしたモニターを復元するには?
MonitorsページのフィルタードロップダウンでArchived monitorsに切り替え、復元したいモニターを見つけてカードの三点リーダーメニューをクリックし、Restore monitorを選択します。確認ダイアログが表示されます。オプションでBackfill missed conversations from the last 2 weeksをチェックすると、アーカイブ中に発生した会話を補填できます。Restoreをクリックして再有効化します。
アーカイブしたモニターを復元するには?
アーカイブしたモニターを復元するには?
はい、Monitorsページの任意のモニターの三点リーダーメニューをクリックし、Duplicate monitorを選択します。同じメニューからEditやArchiveも選べます。
モニターを複製する方法はありますか?
モニターを複製する方法はありますか?
はい、Monitorsページの任意のモニターの三点リーダーメニューをクリックし、Duplicate monitorを選択します。同じメニューからEditやArchiveも選べます。
モニターを下書きとして保存できますか?
モニターを下書きとして保存できますか?
いいえ、現時点ではできません。
モニターはワークスペースの全設定にアクセスできますか?
モニターはワークスペースの全設定にアクセスできますか?
いいえ、モニターは会話のトランスクリプトにのみアクセスできます。Knowledge base、Guidance、Tasks、Proceduresにはアクセスできません。例えば、モニターはFinが特定の記事にアクセスできたかや、ガイダンスルールに基づいて会話を人間に引き継ぐべきかを確認できません。
モニターの編集履歴や変更内容、編集者を確認できますか?
モニターの編集履歴や変更内容、編集者を確認できますか?
いいえ、現在UIでモニター編集の監査履歴は利用できません。
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使えますか?
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使えますか?
いいえ、利用可能な日付フィルターは過去7日間、過去8週間、過去6か月のみです。
モニターのレポートデータ用のAPIエンドポイントはありますか?
モニターのレポートデータ用のAPIエンドポイントはありますか?
いいえ、現時点ではありません。
会話と適格性
モニターに含める会話の最小長は?
モニターに含める会話の最小長は?
モニターにマッチするには、Finからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。
同じ会話が複数のモニターに表示されることはありますか?
同じ会話が複数のモニターに表示されることはありますか?
はい。各モニターは独立したYes/Noチェックとして動作するため、複数のモニターの条件に合致する会話はそれぞれでフラグ付けされます。どのモニターからでも会話をクリックすると、そのモニターがフラグ付けした理由が正確に表示されます。
会話が評価されてから再度開かれた場合、再評価されますか?
会話が評価されてから再度開かれた場合、再評価されますか?
いいえ。会話はモニターごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再開されても、同じモニターのバージョンでは再マッチや再評価はされません。最初の評価のみが記録されます。
モニター作成時に過去の会話をバックフィルできますか?
モニター作成時に過去の会話をバックフィルできますか?
はい。モニター作成時に最大90日分の過去会話をバックフィルできます。その後は新しいマッチする会話を自動的にキャプチャし続けます。
モニターはFin Voiceに対応していますか?
モニターはFin Voiceに対応していますか?
いいえ。Fin Voiceは現在モニターでサポートされていません。
チケットはモニターで評価されますか?
チケットはモニターで評価されますか?
いいえ。顧客チケットもトラッカーチケットもモニターにはマッチせず、会話のみが対象です。
モニターのフラグ条件を更新した場合、既存の会話は削除されますか?
モニターのフラグ条件を更新した場合、既存の会話は削除されますか?
いいえ。以前のフラグ条件にマッチした会話はモニターに残ります。更新後の設定にマッチするのは今後の会話のみです。
会話がモニターに表示されるまでどのくらいかかりますか?
会話がモニターに表示されるまでどのくらいかかりますか?
会話は即座に表示されるはずです。ただし、会話数が多い場合、Monitorダッシュボードの会話数の更新に数分かかることがあります。
Monitorに誤って表示されている会話を削除できますか?
Monitorに誤って表示されている会話を削除できますか?
いいえ。現在、Monitorから会話を手動で削除することはできません。
フラグ基準を設定していなくてもMonitorでテストを実行できますか?
フラグ基準を設定していなくてもMonitorでテストを実行できますか?
いいえ。フラグ基準が設定されている場合にのみ、テスト実行オプションが表示されます。
会話がフラグ基準に合致した理由や合致しなかった理由を確認するにはどうすればよいですか?
会話がフラグ基準に合致した理由や合致しなかった理由を確認するにはどうすればよいですか?
Monitorに移動し、編集をクリックして、テスト実行セクションを開きます。サンプル会話でフラグ基準をテストの下に会話IDを入力し、追加をクリックします。Monitorの結果で会話が合致したかどうかの理由が説明されます。
スコアカードとスコアリング
Monitorを使用するにはスコアカードが必要ですか?
Monitorを使用するにはスコアカードが必要ですか?
いいえ。ただし、スコアカードがないと、Monitorは会話にスコアを付けずにフラグを立てます。レビュアーは評価基準のない合致した会話を確認することになります。完全なQAワークフローには、Monitor設定時にスコアカードを添付してください。
異なるMonitorに異なるスコアカードを添付できますか?
異なるMonitorに異なるスコアカードを添付できますか?
はい。各Monitorは独自のスコアカードを持てるため、異なる種類の会話を異なる品質基準で評価できます。例えば、脆弱な顧客向けのMonitorは請求会話用のMonitorとは異なるスコアカードを使うことがあります。
複数のスコアカードでスコアカード基準を再利用できますか?
複数のスコアカードでスコアカード基準を再利用できますか?
はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、以前の評価スコアは再利用できず、各スコアカードで最初から設定する必要があります。
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
はい。基準ごとにAIか人間のレビュアーがスコアリングを担当するか選べます。Auto-reviewが有効で、手動スコアが必要な基準がある場合、その会話は未レビューキューに表示されます。
基準を重要としてマークするとどうなりますか?
基準を重要としてマークするとどうなりますか?
重要な基準が不合格評価を受けると、他の基準のスコアに関係なく全体のレビュー得点が0%になります。これはすべての重みと合格閾値を上書きします。スコアなしの評価は不合格を引き起こしません。重要基準はコンプライアンス要件、安全性や方針遵守、エスカレーション対応などの譲れない基準に有用です。
スコアカードの重みはどのように機能しますか?
スコアカードの重みはどのように機能しますか?
重みは互いに相対的で、100のスケールに固定されていません。合計は任意の数値になり得ます。重要なのは各基準が占める割合です。例えば、合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ貢献度です。重みはレビュー得点に含まれる基準にのみ適用されます。
AI生成のスコアは上書きできますか?
AI生成のスコアは上書きできますか?
はい。チームメンバーは不一致を見つけた場合、AIスコアを手動で上書きできます。会話のスコアタブで評価をクリックして変更してください。
スコアカード基準を再利用する際、重みも再利用できますか?
スコアカード基準を再利用する際、重みも再利用できますか?
いいえ。名前と説明のみが引き継がれます。重みは常に最初から設定する必要があります。
スコアカード基準でN/Aを選択すると全体のスコアにどう影響しますか?
スコアカード基準でN/Aを選択すると全体のスコアにどう影響しますか?
その基準は重み付けから完全に除外されます。全体のスコアは残りのスコア付けされた基準のみで計算されます。
レビュー得点はどこで確認できますか?
レビュー得点はどこで確認できますか?
得点はMonitorの会話リスト(全体得点と個別基準評価を列で表示)および各会話のスコアタブで確認できます。
スコアカードを下書きとして保存できますか?
スコアカードを下書きとして保存できますか?
いいえ、現時点ではできません。
スコアカードが編集されたか、誰が編集したか確認できますか?
スコアカードが編集されたか、誰が編集したか確認できますか?
いいえ。スコアカード編集の監査履歴は現在利用できません。
Auto-review
Auto-reviewとは何ですか?
Auto-reviewとは何ですか?
Auto-reviewはスコアカードで有効にできる機能で、QAプロセス全体を自動化します。有効にすると、AIがスコアカードのすべての基準をスコアリングした場合、手動レビューは完全にスキップされます。会話は自動的にレビュー済みとマークされ、不合格や例外のみ人間の対応が必要です。
Auto-reviewはいつ手動レビューをスキップしますか?
Auto-reviewはいつ手動レビューをスキップしますか?
Auto-reviewはAIがスコアカードのすべての属性を自信を持ってスコアリングできる場合のみ手動レビューをスキップします。人間のレビュアーが必要な属性やAIが自信を持てない属性がある場合、その会話は未レビューキューに表示されます。
Auto-reviewが不合格スコアを検出した場合はどうなりますか?
Auto-reviewが不合格スコアを検出した場合はどうなりますか?
AIが不合格スコアを付けると、会話は自動的に提出済みとマークされ、フォローアップのためにフラグが立てられます。手動レビューは不要です。必要に応じてチームメンバーがスコアを上書きできます。
Auto-reviewされた会話のレビュアーステータスは何を示しますか?
Auto-reviewされた会話のレビュアーステータスは何を示しますか?
レビュアーステータスはAuto-reviewedと表示されます。これらの会話はAIが不合格を検出したり自信を持てない属性がない限り、手動の未レビューキューをバイパスします。
人間がAIスコアを変更した場合、AIは将来のレビューにそれを学習しますか?
人間がAIスコアを変更した場合、AIは将来のレビューにそれを学習しますか?
いいえ。現時点ではAIは人間の上書きから学習しません。
Monitorをオンにする前にテストできますか?
Monitorをオンにする前にテストできますか?
はい。強く推奨します。自然言語のフラグ基準を使うMonitorでは、テストモニター機能で実際の会話に対して基準を検証してください。どの会話がフラグされるか、ミスマッチをハイライトし、誤検知を減らすために基準を調整できます。
フラグ基準を設定していなくてもテストを実行できますか?
フラグ基準を設定していなくてもテストを実行できますか?
いいえ。フラグ基準が設定されている場合にのみ、テスト実行オプションが表示されます。
会話がフラグ基準に合致した理由や合致しなかった理由を確認するにはどうすればよいですか?
会話がフラグ基準に合致した理由や合致しなかった理由を確認するにはどうすればよいですか?
Monitorに移動し、編集をクリックして、テスト実行セクションを開きます。サンプル会話でフラグ基準をテストの下に会話IDを入力し、追加をクリックします。Monitorの結果で会話が合致したかどうかの理由が説明されます。
Monitorのレポートデータ用のAPIエンドポイントはありますか?
Monitorのレポートデータ用のAPIエンドポイントはありますか?
いいえ、今のところありません。
会話リストビュー
なぜ会話リストビューが変更されたのですか?
なぜ会話リストビューが変更されたのですか?
モニターをクリックしたときに表示される会話リストビューを置き換えました。新しい体験は、より信頼性が高く、安定していて高速な異なる基盤上に構築されています。以前のビューのすべての機能はまだ含まれていませんが、欠けている機能は一時的なもので、今後数週間で再導入されます。
以前使っていた機能の一部がありません—いつ戻りますか?
以前使っていた機能の一部がありません—いつ戻りますか?
以下の機能は一時的に利用できず、今後数週間で再導入されます:
列の並べ替えと再配置
一部のモニター固有のフィルター
右側の会話パネルの詳細タブでのフィールド変更(例:別のチームへの再割り当て)
レビューとワークフロー
QAレビューのステータスラベルは何を意味しますか?
QAレビューのステータスラベルは何を意味しますか?
レビュー状態は2つあります:
ラベル | 意味 |
未レビュー | まだレビューが行われていません |
提出済み | レビューが完了し提出されました |
モニターで自分に割り当てられたレビュー対象の会話はどうやって見つけますか?
モニターで自分に割り当てられたレビュー対象の会話はどうやって見つけますか?
モニターのページのUnreviewed conversationsキューに移動します。そこから自分の名前でフィルターをかけると、すべてのモニターで自分に割り当てられた会話だけが表示されます。
注意:これはQAレビュー目的で割り当てられた会話のみを表示します。サポートチームメンバーとして割り当てられた会話やticketsを見つけるには、代わりにInboxサイドバーのYour inboxを使用してください。
以前のレビュー状態「Fix Needed」や「Won't Fix」でフィルターできますか?
以前のレビュー状態「Fix Needed」や「Won't Fix」でフィルターできますか?
はい、「Fix Needed」や「Won't Fix」ステータスを使って会話をフィルターできますので、以前に分類された会話は引き続きアクセス可能です。ただし、新しい会話はこれらの旧ステータスには割り当てられず、今後はUnreviewedとSubmittedのみが利用可能です。
将来的にカスタムレビュー状態は利用可能になりますか?
将来的にカスタムレビュー状態は利用可能になりますか?
はい。UnreviewedとSubmittedへの簡素化は意図的で元に戻りませんが、より柔軟なシステムの基盤となっています。Back-office Ticketsを中心とした新しいプロセスを導入予定で、そこで独自のカスタムステータスを定義・管理できるようになります。
レビューを提出するとどうなりますか?
レビューを提出するとどうなりますか?
すべてのスコアカード基準にスコアを付けたら、レビュー状態をSubmittedに設定してレビューを完了としてマークします。提出前にメモを追加することも可能です。例えば、コンテンツ更新が必要な場合のフラグとして。
Scoreタブのメモでチームメイトにタグ付けできますか?
Scoreタブのメモでチームメイトにタグ付けできますか?
いいえ。現在、スコアノートでチームメイトにタグ付けすることはサポートされていません。
