メインコンテンツにスキップ

スコアカードの作成と設定

会話を評価し高品質基準を維持するためのスコアカードの作成とカスタマイズ方法を学びましょう。

カスタムスコアカードは、精度、トーン、ポリシー遵守など、重要視する基準を明確に設定することで、チームにとっての「良い状態」を定義します。スコアカードはモニターと連携して機能します。モニターはどの会話をレビューするかを定義し、スコアカードはそれぞれの評価方法を定義します。

異なるモニターごとに複数のスコアカードを持つことができます。モニター設定画面から、どのスコアカードをモニターに関連付けるか選択してください。

注意: スコアカードはProアドオンの一部として利用可能です。


スコアカードを作成するには

分析 > モニターに移動し、スコアカードをクリックします。既成のFin Quality Scorecardを使うか、+ 新しいスコアカードをクリックして独自のものを作成できます。


新しいスコアカード基準を作成する

まずスコアカードの基準を追加します。新しいスコアカード > + 基準 > 新規作成をクリックしてください。

新しい属性を作成する際は、以下の手順に従ってください。

1. 基準に名前を付ける

基準には短く明確な名前を付けます(例:感情分析や回答の正確さ)。この名前はレポートに表示され、参照用に使われます。

2. 評価対象の説明を追加する

基準が何をチェックし、どのように評価されるかを明確に説明してください。この説明はAIが基準を評価する際の指示となり、正確であればあるほどAIの評価も正確になります。また、人間のレビュアーが一貫して同じ基準を適用するのにも役立ちます。

ヒント: 効果的な説明文の作成方法については、効果的なモニターとスコアカード基準の書き方をご覧ください。

3. 基準の評価方法を選択する

基準をAIによる自動評価にするか、人間のレビュアーによる手動評価にするか決めます。同じスコアカード内でAI評価と人間評価を混在させることも可能です。

注意: スコアカードの基準タイトルと説明は再利用可能です。一度作成した属性は複数のスコアカードに追加できます。過去の評価スコアは再利用できず、各スコアカードで新たに設定する必要があります。

4. 評価オプションを定義する

レビュアーやAIが選択できる評価値を追加します(例:良い、普通、悪い)。各属性には最低2つの評価オプションが必要です。各評価オプションについては以下を行います。

  • 評価名を付ける(短く明確に)

  • 選択される条件を説明する

  • スコアを割り当てる(例:100%、50%、0%)または「評価なし」とマークする

割り当てたスコアは、その評価が全体のレビュー得点にどのように寄与するかを決定します。

4b. 評価理由を定義する(任意)

各評価オプションに対して、特定のスコアが付けられた理由を説明する評価理由のリストを定義できます。評価理由はレビュアーやAIがスコアを一貫して分類するのに役立ち、会話全体のパターンを特定しやすくします。

AIが基準を評価する際、該当する場合は最も関連性の高い事前定義された理由を自動的に選択します。該当する理由がない場合は、AIが明確な説明を生成し、すべてのスコアに意味のある文脈を提供します。

5. 自動レビューを有効にする(任意)

自動レビュー スコアカードをオンに切り替えることで、スコアカードのQAプロセス全体を自動化できます。

有効にすると:

  • AIがスコアカード内のすべての基準を評価した場合、手動レビューのステップは完全にスキップされます。

  • チームメンバーは、もし不一致を見つけた場合、AIのスコアを手動で上書きできます。

ヒント: 自動レビューはすべての基準がAI評価の場合に最も効果的です。人間の評価が必要な基準がある場合、その会話は未レビューキューに残ります。


スコアカードを設定する

スコアカード基準を追加した後、全体のレビュー結果にどのように影響するかを設定します。

スコアカード基準を重要としてマークする

基準を重要としてマークできます。重要な基準が不合格評価を受けると、レビュー全体が不合格になります。

  • 全体のレビュー得点は0%になります。

  • これはすべての重み付けを上書きします。

  • 評価なしの評価は基準を全体得点から除外し、不合格を引き起こしません。

重要な基準は、コンプライアンス要件、安全性、ポリシー遵守、エスカレーション対応など、譲れない基準に役立ちます。

スコアカード基準の重み付け

各基準には相対的重要度を定義する重みを割り当てられます。

  • 重みは0から100の整数でなければなりません。

  • 重みが高いほど、その基準が全体のレビュー得点に与える影響が大きくなります。

重みは重要度を反映するために使います。例えば、正確さが速度より重要な場合は、効率より正確さに高い重みを付けます。

注意:

  • 重みは互いに対して相対的であり、100のスケールに固定されているわけではありません。合計は任意の数値になり得ます。重要なのは各基準が占める割合です。合計50のうち25の重みを持つ基準は、合計100のうち50の重みを持つ基準と同じ寄与度を持ちます。

  • 「レビュー得点に含める」オプションはスコアカードUIから削除されました。

合格基準値の追加

レビューが合格と見なされるための最低全体得点である合格基準値を定義できます。例えば、合格基準値が80%の場合、80%未満のレビューは不合格とマークされます。

これは重み付けスコアリング後に評価され、重要な基準がすでに不合格の場合は適用されません。


全体のレビュー得点の仕組み

  1. 各基準は定義された評価オプションを使って評価されます。

  2. 評価は割り当てられたスコアを寄与し(評価なしの場合は除外)、

  3. すべての基準は割り当てられた重みを使って組み合わされます。

  4. 重要な基準が不合格評価を受けた場合、全体のレビュー得点は0%になります。

  5. 最終得点は合格基準値と比較され、レビューが合格か不合格かが決まります。

以下は3つの基準が最終得点にどのように組み合わされるかの例です。

基準

選択された評価

評価スコア

重み

正確さ

良い

100%

60

トーン

普通

50%

30

効率

良い

100%

10

全体得点 = (100×60 + 50×30 + 100×10) / (60+30+10) = 85%


スコアの確認場所

レビューが完了すると、スコアは会話リストと各会話内の両方で確認できます。

モニターでは、会話リストに全体のレビュー得点(パーセンテージまたは不合格)と個々の基準評価が列として表示されます。これにより、会話全体のパフォーマンスを簡単に確認し、不合格や低評価を見つけやすくなります。

会話を開いてレビュータブに移動すると、割り当てられたスコアカード、レビュー状況、全体得点、各基準の選択評価が確認できます。この画面で最終得点の決定方法が正確にわかります。FinがAIで基準を評価した場合、レビュータブの評価にカーソルを合わせると、選択された評価、基準の説明、Finの評価理由がツールチップで一括表示されます。


よくある質問

スコアカードの基準を複数のスコアカードで再利用できますか?

はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、過去の評価スコアは再利用できず、各スコアカードで新たに設定する必要があります。

モニターにスコアカードを関連付けなかった場合はどうなりますか?

モニターは基準に合致する会話をフラグしますが、スコアリングは行われません。レビュアーはスコアカード基準を入力せずにフラグ付き会話を確認します。評価を有効にするには、モニター設定時にスコアカードを関連付けてください。

同じスコアカード内でAI評価と手動評価の基準を混在させることはできますか?

はい。基準ごとにAIか人間のレビュアーが評価するか選択できます。自動レビューが有効で、手動評価が必要な基準がある場合、その会話は未レビューキューに残ります。

重要な基準とは何ですか?

重要な基準が不合格評価を受けると、他の基準の評価に関わらず全体のレビュー得点は0%になります。これはコンプライアンス、安全性、エスカレーション対応など、単一の不合格がすべてを覆す必要がある譲れない基準に役立ちます。

こちらの回答で解決しましたか?