モニターとスコアカードの違いは何ですか?
モニターとスコアカードの違いは何ですか?
それらは異なる役割を持ち、連携して機能します:
モニターはどの会話をレビューするかを定義します — 条件(フィルターまたは自然言語フラグ条件)を設定し、モニターが自動的に一致する会話を表示します。
スコアカードは各会話の評価方法を定義します — 評価基準、評価オプション、レビュアー(またはAI)が品質を評価するためのスコアリングルールを設定します。
スコアカードなしのモニターは会話にフラグを立てますが、スコアは付けません。完全なQAワークフローには両方が必要です。
モニターやスコアカードの条件を作成できる数に制限はありますか?
モニターやスコアカードの条件を作成できる数に制限はありますか?
はい、以下の制限が適用されます:
自然言語フラグ条件を使用するモニターは最大20件まで。事前定義されたフィルターを使用するモニターは無制限です。
AIスコア付きスコアカード条件は最大20件まで。手動スコア条件は無制限です。
複数のモニターを同時に実行できますか?
複数のモニターを同時に実行できますか?
はい、必要なだけモニターを作成でき、それぞれ異なる会話タイプや品質シグナルを対象にできます。例えば、ランダムなベースラインサンプル用のモニター、低CXスコア会話用のモニター、ポリシーリスクとしてフラグ付けされた会話用のモニターなどです。各モニターは独立して動作します。自然言語フラグ条件を使用するモニターは20件までの制限がありますが、事前定義フィルターを使うモニターは無制限です。
作成後にモニターを編集できますか?
作成後にモニターを編集できますか?
モニターは作成後に部分的に編集可能です。モニター名、フラグ条件、フィルター、レビュアー、添付されたスコアカードはいつでもモニター画面から更新できます。変更を保存すると、更新された条件に一致するすべての会話が自動的に再評価されます。
ただし、モニタリングモード(連続、単発、スケジュール)、開始日、サンプリング制御(例:1日または1週間あたりの会話数)は、一度モニターが保存されてライブ設定されるとロックされます。これらの設定はモニターの動作やバックフィルの作成方法を制御するため、作成後に変更できません。
これらのロックされた設定を変更する必要がある場合は、新しい設定で新しいモニターを作成することを推奨します。モニター画面の三点リーダーメニューからDuplicate monitorオプションを使って既存のモニターをコピーし、素早く調整できます。
モニターを一時停止またはアーカイブする方法はありますか?
モニターを一時停止またはアーカイブする方法はありますか?
はい、モニターを削除せずにメインのモニター画面から非表示にするためにアーカイブできます。アーカイブされたモニターはすべての履歴データと会話数を保持します。アーカイブするには、任意のモニターカードの三点リーダーメニューをクリックし、Archive monitorを選択します。アーカイブ済みモニターを見るには、モニター画面のフィルタードロップダウンでArchived monitorsを選択します。アーカイブされたモニターはいつでも復元可能です。以下を参照してください。
アーカイブされたモニターをどのように復元しますか?
アーカイブされたモニターをどのように復元しますか?
モニター画面のフィルタードロップダウンでArchived monitorsに切り替えます。復元したいモニターを見つけ、そのカードの三点リーダーメニューをクリックし、Restore monitorを選択します。確認ダイアログが表示されます。オプションでBackfill missed conversations from the last 2 weeksをチェックして、アーカイブ中に発生した会話を補完できます。Restoreをクリックして再有効化します。
アーカイブされたモニターをどのように復元しますか?
アーカイブされたモニターをどのように復元しますか?
はい、モニター画面の任意のモニターの三点リーダーメニューをクリックし、Duplicate monitorを選択します。同じメニューからEdit、Archive、Deleteのオプションも利用できます。
モニターを複製する方法はありますか?
モニターを複製する方法はありますか?
はい、モニター画面の任意のモニターの三点リーダーメニューをクリックし、Duplicate monitorを選択します。同じメニューからEdit、Archive、Deleteのオプションも利用できます。
モニターを下書きとして保存できますか?
モニターを下書きとして保存できますか?
いいえ、現時点ではできません。
モニターはワークスペースの全設定にアクセスできますか?
モニターはワークスペースの全設定にアクセスできますか?
いいえ、モニターは会話のトランスクリプトにのみアクセスできます。Knowledge base、Guidance、Tasks、Proceduresにはアクセスできません。例えば、モニターはFinが特定の記事にアクセスできたかどうかや、ガイダンスルールに基づいて会話が人間に引き継がれるべきかどうかを確認できません。
モニターの編集履歴や変更内容、編集者を確認できますか?
モニターの編集履歴や変更内容、編集者を確認できますか?
いいえ、現在UIでモニター編集の監査履歴は利用できません。
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使用できますか?
モニターダッシュボードのアクティビティビューでカスタム日付範囲を使用できますか?
いいえ、利用可能な日付フィルターは過去7日間、過去8週間、過去6か月のみです。
モニターのレポートデータ用のAPIエンドポイントはありますか?
モニターのレポートデータ用のAPIエンドポイントはありますか?
いいえ、現時点ではありません。
会話と適格性
モニターに含める会話の最小長はどのくらいですか?
モニターに含める会話の最小長はどのくらいですか?
会話にはFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。
同じ会話が複数のモニターに表示されることはありますか?
同じ会話が複数のモニターに表示されることはありますか?
はい。各モニターは独立したはい/いいえのチェックとして動作するため、複数のモニターの条件に一致する会話はそれぞれでフラグ付けされます。任意のモニターから会話をクリックすると、その特定のモニターがなぜフラグを立てたかが正確に表示されます。
会話が評価されてから再度開かれた場合、再評価されますか?
会話が評価されてから再度開かれた場合、再評価されますか?
いいえ。会話はモニターごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再開された場合でも、同じモニターのバージョンでは再マッチや再評価はされません。元の評価のみが記録されます。
モニター作成時に過去の会話をバックフィルできますか?
モニター作成時に過去の会話をバックフィルできますか?
はい。モニターを初めて作成する際に、最大90日分の過去の会話をバックフィルできます。その後はモニターが新しい一致する会話を自動的にキャプチャし続けます。
モニターはFin Voiceに対応していますか?
モニターはFin Voiceに対応していますか?
いいえ。Fin Voiceは現在モニターでサポートされていません。
ticketsはモニターで評価されますか?
ticketsはモニターで評価されますか?
いいえ。顧客のticketsもトラッカーのticketsもモニターには一致しません。会話のみが対象です。
モニターのフラグ条件を更新した場合、既存の会話は削除されますか?
モニターのフラグ条件を更新した場合、既存の会話は削除されますか?
いいえ。以前のフラグ条件に一致した会話はモニターに残ります。更新後の設定に一致するのは今後の会話のみです。
会話がモニターに表示されるまでどのくらいかかりますか?
会話がモニターに表示されるまでどのくらいかかりますか?
会話は即座に表示されるはずです。ただし、会話数が多い場合、モニターダッシュボードの会話数の更新に数分かかることがあります。
会話が誤ってMonitorに表示されている場合、削除できますか?
会話が誤ってMonitorに表示されている場合、削除できますか?
いいえ。現在、Monitorから会話を手動で削除することはできません。
フラグ基準を設定していなくてもMonitorでテストを実行できますか?
フラグ基準を設定していなくてもMonitorでテストを実行できますか?
いいえ。フラグ基準が設定されている場合にのみ、[Run test]オプションが表示されます。
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
Monitorに移動し、Editをクリックして、Run testセクションを開きます。Test flag criteria on sample conversationsの下に会話IDを入力し、Addをクリックします。Monitorの結果で、会話が合致した理由または合致しなかった理由が説明されます。
スコアカードとスコアリング
Monitorを使用するにはスコアカードが必要ですか?
Monitorを使用するにはスコアカードが必要ですか?
いいえ、必要ありませんが、スコアカードがないとMonitorは会話にスコアを付けずにフラグを立てます。レビュアーは評価基準のない合致した会話を確認します。完全なQAワークフローには、Monitor設定時にスコアカードを添付してください。
異なるMonitorに異なるスコアカードを添付できますか?
異なるMonitorに異なるスコアカードを添付できますか?
はい。各Monitorには独自のスコアカードを設定できるため、異なる種類の会話を異なる品質基準で評価できます。例えば、脆弱な顧客向けのMonitorは請求会話用のMonitorとは異なるスコアカードを使用することがあります。
複数のスコアカードでスコアカード基準を再利用できますか?
複数のスコアカードでスコアカード基準を再利用できますか?
はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、以前の評価スコアは再利用できず、各スコアカードで最初から設定する必要があります。
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?
はい。基準ごとにAIまたは人間のレビュアーがスコアリングを担当するか選択できます。Auto-reviewが有効で、手動スコアが必要な基準がある場合、その会話は未レビューキューに表示されます。
基準を重要としてマークするとどうなりますか?
基準を重要としてマークするとどうなりますか?
重要な基準が不合格評価を受けると、他の基準のスコアに関係なく全体のレビュー得点は0%になります。これはすべての重みと合格閾値を上書きします。スコアが付けられていない評価は不合格を引き起こしません。重要な基準は、コンプライアンス要件、安全性や方針の遵守、エスカレーション対応などの譲れない基準に有用です。
スコアカードの重みはどのように機能しますか?
スコアカードの重みはどのように機能しますか?
重みは互いに相対的であり、100のスケールに固定されていません。合計は任意の数値になり得ます。重要なのは各基準が占める割合です。例えば、合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ貢献度です。重みはレビュー得点に含まれる基準にのみ適用されます。
AI生成のスコアは上書きできますか?
AI生成のスコアは上書きできますか?
はい。チームメンバーは不一致を見つけた場合、会話のScoreタブの評価をクリックして手動でAIスコアを上書きできます。
スコアカード基準を再利用する際、重みも再利用できますか?
スコアカード基準を再利用する際、重みも再利用できますか?
いいえ。名前と説明のみが引き継がれます。重みは常に最初から設定する必要があります。
スコアカード基準でN/Aを選択すると全体のスコアにどう影響しますか?
スコアカード基準でN/Aを選択すると全体のスコアにどう影響しますか?
その基準は重み付けから完全に除外されます。全体のスコアは残りのスコア付けされた基準のみで計算されます。
レビュー得点はどこで確認できますか?
レビュー得点はどこで確認できますか?
得点はMonitorの会話リスト(全体得点と個別基準評価を列で表示)および各会話のScoreタブで確認できます。
スコアカードを下書きとして保存できますか?
スコアカードを下書きとして保存できますか?
いいえ、現時点ではできません。
スコアカードが編集されたか、誰が編集したかを確認できますか?
スコアカードが編集されたか、誰が編集したかを確認できますか?
いいえ。スコアカード編集の監査履歴は現在利用できません。
Auto-review
Auto-reviewとは何ですか?
Auto-reviewとは何ですか?
Auto-reviewはスコアカードで有効にできる機能で、QAプロセス全体を自動化します。有効にすると、AIがスコアカードのすべての基準をスコアリングした場合、手動レビューのステップは完全にスキップされます。会話は自動的にレビュー済みとマークされ、不合格や例外のみ人間の注意が必要です。
Auto-reviewはいつ手動レビューのステップをスキップしますか?
Auto-reviewはいつ手動レビューのステップをスキップしますか?
Auto-reviewはAIがスコアカードのすべての属性を自信を持ってスコアリングできる場合にのみ手動レビューをスキップします。人間のレビュアーが必要な属性や、AIが自信を持ってスコアリングできない属性がある場合、その会話は未レビューキューに表示されます。
Auto-reviewが不合格スコアを検出した場合はどうなりますか?
Auto-reviewが不合格スコアを検出した場合はどうなりますか?
AIが不合格スコアを付けると、会話は自動的にSubmittedとマークされ、フォローアップのためにフラグが立てられます。手動レビューは不要です。必要に応じてチームメンバーがスコアを上書きできます。
Auto-reviewされた会話のレビュアーステータスはどう表示されますか?
Auto-reviewされた会話のレビュアーステータスはどう表示されますか?
レビュアーステータスはAuto-reviewedと表示されます。これらの会話は、AIが不合格を検出したり自信を持ってスコアリングできない属性がない限り、手動の未レビューキューをバイパスします。
人間がAIのスコアを変更した場合、AIは将来のレビューにそれを学習しますか?
人間がAIのスコアを変更した場合、AIは将来のレビューにそれを学習しますか?
いいえ、現時点ではAIは人間の上書きから学習しません。
Monitorをオンにする前にテストできますか?
Monitorをオンにする前にテストできますか?
はい。強く推奨します。自然言語のフラグ基準を使用するMonitorでは、Test monitorツールを使って実際の会話に対して基準を検証してください。どの会話がフラグされるかを示し、不一致をハイライトして誤検知を減らせます。
フラグ基準を設定していなくてもテストを実行できますか?
フラグ基準を設定していなくてもテストを実行できますか?
いいえ。フラグ基準が設定されている場合にのみ、[Run test]オプションが表示されます。
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
会話がフラグ基準に合致した理由、または合致しなかった理由を確認するにはどうすればよいですか?
Monitorに移動し、Editをクリックして、Run testセクションを開きます。Test flag criteria on sample conversationsの下に会話IDを入力し、Addをクリックします。Monitorの結果で、会話が合致した理由または合致しなかった理由が説明されます。
Monitorのレポートデータ用のAPIエンドポイントはありますか?
Monitorのレポートデータ用のAPIエンドポイントはありますか?
いいえ、現時点ではありません。
会話リストビュー
なぜ会話リストビューが変更されたのですか?
なぜ会話リストビューが変更されたのですか?
モニターをクリックしたときに表示される会話リストビューを置き換えました。新しい体験は、より信頼性が高く、安定していて高速な異なる基盤上に構築されています。以前のビューのすべての機能はまだ含まれていませんが、欠けている機能は一時的なもので、今後数週間で再導入されます。
以前使っていた機能がいくつかありません—いつ戻りますか?
以前使っていた機能がいくつかありません—いつ戻りますか?
以下の機能は一時的に利用できず、今後数週間で再導入されます:
列の並べ替えと再配置
一部のモニター固有のフィルター
右側の会話パネルの詳細タブでのフィールド変更(例:別のチームへの再割り当て)
レビューとワークフロー
QAレビューのステータスラベルは何を意味しますか?
QAレビューのステータスラベルは何を意味しますか?
レビュー状態は2つあります:
ラベル | 意味 |
未レビュー | まだレビューが行われていません |
提出済み | レビューが完了し、提出されました |
自分に割り当てられた会話はどうやって見つけますか?
自分に割り当てられた会話はどうやって見つけますか?
モニターのページの未レビューの会話キューに移動します。そこから自分の名前でフィルターをかけると、すべてのモニターで自分に割り当てられた会話だけが表示されます。
以前のレビュー状態「Fix Needed」や「Won't Fix」でフィルターできますか?
以前のレビュー状態「Fix Needed」や「Won't Fix」でフィルターできますか?
はい、「Fix Needed」や「Won't Fix」のステータスを使って会話をフィルターできますので、以前に分類された会話は引き続きアクセス可能です。ただし、新しい会話はこれらの旧ステータスには割り当てられず、今後はUnreviewedとSubmittedのみが利用可能です。
将来的にカスタムレビュー状態は利用可能になりますか?
将来的にカスタムレビュー状態は利用可能になりますか?
はい。UnreviewedとSubmittedへの簡素化は意図的で元に戻りませんが、より柔軟なシステムの基盤です。Back-office Ticketsを中心とした新しいプロセスを導入予定で、そこで独自のカスタムステータスを定義・管理できるようになります。
レビューを提出するとどうなりますか?
レビューを提出するとどうなりますか?
すべてのスコアカード基準にスコアを付けたら、レビュー状態をSubmittedに設定してレビューを完了としてマークします。提出前にメモを追加することも可能です。例えば、コンテンツ更新が必要な場合のフラグとして。
スコアタブのメモでチームメイトをタグ付けできますか?
スコアタブのメモでチームメイトをタグ付けできますか?
いいえ。スコアノートでのチームメイトのタグ付けは現在サポートされていません。
