メインコンテンツにスキップ

モニターに関するよくある質問

モニターの設定、権限管理、品質保証 workflows のトラブルシューティングに関するよくある質問の回答を見つけてください。

モニターとスコアカードの違いは何ですか?

それらは異なる役割を持ち、連携して機能します:

  • モニターはどの会話をレビューするかを定義します — 条件(フィルターまたは自然言語フラグ基準)を設定し、モニターが自動的に一致する会話を表示します。

  • スコアカードは各会話の評価方法を定義します — 評価基準、評価オプション、レビュアー(またはAI)が品質を評価するためのスコアリングルールを設定します。

スコアカードなしのモニターは会話にフラグを立てますが、スコアは付けません。完全なQA workflowには両方が必要です。

モニターやスコアカードの基準を作成できる数に制限はありますか?

はい、以下の制限が適用されます:

複数のモニターを同時に実行できますか?

はい、必要なだけモニターを作成できます。各モニターは異なるタイプの会話や品質信号を対象とします。例えば、ランダムなベースラインサンプル用のモニター、低CXスコアの会話用のモニター、ポリシーリスクとしてフラグが立てられた会話用のモニターなどです。各モニターは独立して動作します。自然言語フラグ基準を使用するモニターは20台までの制限がありますが、事前定義されたフィルターを使用するモニターは無制限です。

作成後にモニターを編集できますか?

モニターは作成後に部分的に編集可能です。モニター名、フラグ基準、フィルター、レビュアー、添付されたスコアカードはMonitorsページからいつでも更新できます。変更を保存すると、更新された基準に一致するすべての会話が自動的に再評価されます。以前にフラグが立てられた会話も、更新されたフラグ基準、フィルター、スコアカードなどに該当する場合は含まれます。

ただし、モニタリングモード(連続、単発、スケジュール)、開始日、サンプリング制御(例:1日または1週間あたりの会話数)は、モニターが保存されてライブ設定されるとロックされます。これらの設定はモニターの動作やバックフィルの作成方法を制御するため、作成後に変更できません。

これらのロックされた設定を変更する必要がある場合は、望ましい構成で新しいモニターを作成することを推奨します。Monitorsページの三点リーダーメニューからDuplicate monitorオプションを使って既存のモニターをコピーし、素早く調整できます。

モニターを一時停止またはアーカイブする方法はありますか?

はい、モニターを削除せずにメインのMonitorsページから非表示にするためにアーカイブできます。アーカイブされたモニターはすべての履歴データと会話数を保持します。アーカイブするには、任意のモニターカードの三点リーダーメニューをクリックし、Archive monitorを選択します。アーカイブされたモニターを見るには、MonitorsページのフィルタードロップダウンでArchived monitorsを選択します。アーカイブされたモニターはいつでも復元可能です。以下を参照してください。

アーカイブされたモニターをどのように復元しますか?

MonitorsページのフィルタードロップダウンでArchived monitorsに切り替えます。復元したいモニターを見つけ、そのカードの三点リーダーメニューをクリックし、Restore monitorを選択します。確認ダイアログが表示されます。オプションでBackfill missed conversations from the last 2 weeksにチェックを入れて、アーカイブ中に発生した会話を取り戻せます。Restoreをクリックして再有効化します。

アーカイブされたモニターをどのように復元しますか?

はい、Monitorsページの任意のモニターの三点リーダーメニューをクリックし、Duplicate monitorを選択します。同じメニューからEditArchiveDeleteのオプションも利用できます。

モニターを複製する方法はありますか?

はい、Monitorsページの任意のモニターの三点リーダーメニューをクリックし、Duplicate monitorを選択します。同じメニューからEditArchiveDeleteのオプションも利用できます。

モニターを下書きとして保存できますか?

いいえ、現時点ではできません。

モニターはワークスペースの全設定にアクセスできますか?

いいえ、モニターは会話のトランスクリプトにのみアクセスできます。Knowledge base、Guidance、Tasks、Proceduresにはアクセスできません。例えば、モニターはFinが特定の記事にアクセスできたかどうかや、ガイダンスルールに基づいて会話が人間に引き継がれるべきかどうかを確認できません。

モニターがいつ編集されたか、何が変更されたか、誰が変更したかを見ることはできますか?

いいえ、現在UIでモニター編集の監査履歴は利用できません。

モニターダッシュボードのアクティビティビューでカスタム日付範囲を使用できますか?

いいえ、利用可能な日付フィルターは過去7日間、過去8週間、過去6か月のみです。

モニターのレポートデータ用のAPIエンドポイントはありますか?

いいえ、現時点ではありません。


会話と適格性

モニターに含める会話の最小長はどのくらいですか?

会話にはFinからのメッセージが2件以上、顧客からのメッセージが2件以上含まれている必要があります。

同じ会話が複数のモニターに表示されることはありますか?

はい。各モニターは独立したはい/いいえのチェックとして動作するため、複数のモニターの基準に一致する会話はそれぞれでフラグが立てられます。どのモニターからでも会話をクリックすると、その特定のモニターがなぜフラグを立てたかが正確に表示されます。

会話が評価されてから再度開かれた場合、再評価されますか?

いいえ。会話はモニターごとに一度だけ評価されます。顧客が新しいメッセージを送って会話が再開された場合でも、同じモニターのバージョンでは再マッチや再評価はされません。元の評価のみが記録されます。

モニター作成時に過去の会話をバックフィルできますか?

はい。モニターを初めて作成する際に、最大90日分の過去の会話をバックフィルできます。その後はモニターが新しい一致する会話を自動的にキャプチャし続けます。

モニターはFin Voiceに対応していますか?

いいえ。Fin Voiceは現在モニターでサポートされていません。

ticketsはモニターで評価されますか?

いいえ。顧客のticketsもトラッカーのticketsもモニターに一致しません。会話のみが対象です。

モニターのフラグ基準を更新した場合、既存の会話は削除されますか?

いいえ。以前のフラグ基準に一致した会話はモニターに残ります。更新された設定に一致するのは今後の会話のみです。

会話がモニターに表示されるまでどのくらいかかりますか?

会話はすぐに表示されるはずです。ただし、会話数が多い場合、モニターダッシュボードの会話数の更新に数分かかることがあります。

会話が誤ってモニターに表示されている場合、削除できますか?

いいえ。現在、会話をモニターから手動で削除することはできません。

フラグ基準を設定していなくても、Monitorでテストを実行できますか?

いいえ。Run testオプションは、フラグ基準が設定されている場合にのみ表示されます。

会話がなぜフラグ基準に合致したりしなかったりしたのか、どうやって確認できますか?

Monitorに移動し、Editをクリックして、Run testセクションを開きます。Test flag criteria on sample conversationsの下に会話IDを入力し、Addをクリックします。Monitorの結果が、会話が合致した理由または合致しなかった理由を説明します。


スコアカードとスコアリング

Monitorを使用するのにスコアカードは必要ですか?

いいえ、必要ありませんが、スコアカードがないとMonitorはスコアリングせずに会話にフラグを立てます。レビュアーは評価基準のない合致した会話を見ることになります。完全なQA workflowsには、Monitor設定時にスコアカードを添付してください。

異なるMonitorに異なるスコアカードを添付できますか?

はい。各Monitorは独自のスコアカードを持つことができるので、異なる種類の会話を異なる品質基準で評価できます。例えば、脆弱な顧客向けのMonitorは請求会話用のMonitorとは異なるスコアカードを使うかもしれません。

複数のスコアカードでスコアカード基準を再利用できますか?

はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、以前の評価スコアは再利用できず、各スコアカードで最初から設定する必要があります。

同じスコアカードでAIスコアと手動スコアの基準を混在させることはできますか?

はい。基準ごとにAIか人間のレビュアーがスコアリングを担当するか選べます。Auto-reviewが有効で、手動スコアが必要な基準がある場合、その会話はUnreviewedキューに表示され続けます。

基準をクリティカルとしてマークするとどうなりますか?

クリティカル基準が不合格評価を受けると、他の基準のスコアに関係なく全体のレビュー得点は0%になります。これはすべての重みと合格閾値を上書きします。スコアなしの評価は不合格を引き起こしません。クリティカル基準は、コンプライアンス要件、安全性やポリシー遵守、エスカレーション対応などの譲れない基準に有用です。

スコアカードの重みはどのように機能しますか?

重みは互いに相対的で、100のスケールに固定されていません。合計は任意の数値になり得ます。重要なのは各基準が占める割合です。例えば、合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ貢献度です。重みはレビュー得点に含まれる基準にのみ適用されます。

AI生成のスコアは上書きできますか?

はい。チームメンバーは不一致を見つけた場合、任意のAIスコアを手動で上書きできます。会話のScoreタブで評価をクリックして変更してください。

スコアカード基準を再利用する際、重みも再利用できますか?

いいえ。名前と説明のみが引き継がれます。重みは常に最初から設定する必要があります。

スコアカード基準でN/Aを選択すると全体のスコアにどう影響しますか?

その基準は重み付けから完全に除外されます。全体のスコアは残りのスコア付けされた基準のみで計算されます。

レビュー得点はどこで見られますか?

得点はMonitorの会話リスト(全体得点と個別基準評価を列で表示)および各会話のScoreタブで確認できます。

スコアカードをドラフトとして保存できますか?

いいえ、現時点ではできません。

スコアカードが編集されたか、誰が編集したかを見ることは可能ですか?

いいえ。スコアカード編集の監査履歴は現在利用できません。


Auto-review

Auto-reviewとは何ですか?

Auto-reviewはスコアカードで有効にできる機能で、QAプロセス全体を自動化します。有効にすると、AIがスコアカードのすべての基準をスコアリングした場合、手動レビューは完全にスキップされます。会話は自動的にレビュー済みとマークされ、不合格や例外のみ人間の注意が必要です。

Auto-reviewはいつ手動レビューをスキップしますか?

Auto-reviewはAIがスコアカードのすべての属性を自信を持ってスコアリングできる場合にのみ手動レビューをスキップします。人間のレビュアーが必要な属性がある場合や、AIが自信を持ってスコアリングできない属性がある場合、その会話は引き続きUnreviewedキューに表示されます。

Auto-reviewが不合格スコアを検出した場合はどうなりますか?

AIが不合格スコアを付けると、会話は自動的にSubmittedとしてマークされ、フォローアップのためにフラグが立てられます。手動レビューは不要です。必要に応じてチームメンバーがスコアを上書きできます。

Auto-reviewされた会話のレビュアーステータスはどう表示されますか?

レビュアーステータスはAuto-reviewedと表示されます。これらの会話は、AIが不合格を検出したり自信を持ってスコアリングできない属性がない限り、手動のUnreviewedキューをバイパスします。

人間がAIのスコアを変更した場合、AIは将来のレビューにそれを学習しますか?

いいえ、現時点ではAIは人間の上書きから学習しません。

Monitorをオンにする前にテストできますか?

はい。強く推奨します。自然言語のフラグ基準を使うMonitorの場合、Test monitorツールで実際の会話に対して基準を検証してください。どの会話がフラグされるかを示し、不一致をハイライトして誤検知を減らせます。

フラグ基準を設定していなくてもテストを実行できますか?

いいえ。Run testオプションは、フラグ基準が設定されている場合にのみ表示されます。

会話がなぜフラグ基準に合致したりしなかったりしたのか、どうやって確認できますか?

Monitorに移動し、Editをクリックして、Run testセクションを開きます。Test flag criteria on sample conversationsの下に会話IDを入力し、Addをクリックします。Monitorの結果が、会話が合致した理由または合致しなかった理由を説明します。

Monitorのレポートデータ用のAPIエンドポイントはありますか?

いいえ、現時点ではありません。


会話リストビュー

なぜ会話リストビューが変更されたのですか?

モニターをクリックしたときに表示される会話リストビューを置き換えました。新しい体験は、より信頼性が高く、安定していて高速な異なる基盤上に構築されています。以前のビューのすべての機能はまだ含まれていませんが、欠けている機能は一時的なもので、今後数週間で再導入されます。

以前使っていたいくつかの機能がありませんが、いつ戻りますか?

以下の機能は一時的に利用できず、今後数週間で再導入されます:

  • 列の並べ替えと再配置

  • 一部のモニター固有のフィルター

  • 右側の会話パネルの詳細タブでのフィールド変更(例:別のチームへの再割り当て)


レビューとworkflows

QAレビューのステータスラベルは何を意味しますか?

レビュー状態は2つあります:

ラベル

意味

未レビュー

まだレビューが行われていません

提出済み

レビューが完了し、提出されました

自分に割り当てられた会話はどうやって見つけますか?

モニターのページのUnreviewed conversationsキューに移動します。そこから自分の名前でフィルターをかけると、すべてのモニターで自分に割り当てられた会話のみが表示されます。

「Fix Needed」や「Won't Fix」などの古いレビュー状態でフィルターをかけることはできますか?

はい、「Fix Needed」や「Won't Fix」ステータスを使って会話をフィルターすることはまだ可能で、以前に分類された会話はアクセス可能です。ただし、新しい会話はこれらのレガシーステータスには割り当てられず、今後はUnreviewedとSubmittedのみが利用可能です。

将来的にカスタムレビュー状態は利用可能になりますか?

はい。UnreviewedとSubmittedへの簡素化は意図的で元に戻りませんが、より柔軟なシステムの基盤です。Back-office Ticketsを中心とした新しいプロセスを導入予定で、そこで独自のカスタムステータスを定義・管理できるようになります。

レビューを提出するとどうなりますか?

すべてのスコアカード基準にスコアを付けたら、レビュー状態をSubmittedに設定してレビューを完了としてマークします。提出前にメモを追加することも可能です。例えば、コンテンツ更新が必要な場合のフラグとして。

Scoreタブのメモでチームメイトにタグ付けできますか?

いいえ。現在、スコアメモでチームメイトにタグ付けすることはサポートされていません。

こちらの回答で解決しましたか?