この記事を使ってEvalにスコアカードを追加し、新しいスコアカードを作成し、評価基準を追加し、それぞれの基準の重み付けとCritical設定を行います。
Evalにスコアカードを追加する方法
スコアカードは、合格/不合格チェックに加えて、ClarificationやEfficiencyなどの品質評価をEvalに追加します。Evalにスコアカードがない場合、シミュレーション結果のみが表示され、品質評価はありません。スコアカードはEval内のすべてのシミュレーションに適用され、各シミュレーションで同じ評価基準が使われます。
Test > Evalsに移動し、Evalを開きます。
Evalの右上、New simulationの隣にあるAdd scorecardをクリックします。
スコアカードを追加すると、Evalの上部にSimulation resultsの隣にQuality evaluationセクションが表示されます。表示される評価基準は追加したスコアカードから取得され、そのスコアカードに含まれる評価基準が一覧表示されます。全体のReview scoreと各評価基準の平均が表示されます。シミュレーション会話の一覧にもReview score列と各評価基準の列が追加されます。
また、Eval settingsからもスコアカードを追加できます。既存のEvalでEval settingsを開くには、New simulationの隣にあるオプションメニュー（...）をクリックし、Edit evalを選択します。Eval settingsでQuality evaluationのドロップダウンを開き、既存のスコアカードを選択するか、Create new scorecardをクリックします。デフォルトはNo scorecardです。
注意：スコアカードはMonitorsと共有されるため、スコアカードの変更は使用されているすべての場所に適用されます。信頼性の高い評価基準を書くには、「How to write effective Monitor & Scorecard criteria」記事を参照してください。
Eval用スコアカードの作成方法
Eval用スコアカードを作成するには、名前を付けてFinが評価される基準を追加します。Evalのスコアカードは常にFinを評価するため、Who's evaluated設定はFin AI Agentに固定されており、Human teammates assignedは利用できません。
Eval settingsでQuality evaluationのドロップダウンを開き、Create new scorecardをクリックします。するとドロップダウンにNew scorecardが表示され、下にNew scorecardフォームが現れます。
Scorecard nameの下に名前を入力します。
Evaluation criteriaの下で+ Criteriaをクリックします。Edit scorecard > New criteriaパネルが開きます。入力方法は以下の「How to add criteria to a Scorecard」を参照してください。
評価基準を追加すると、Review score (%)セクションに加重平均が表示されます。これは各基準のスコア（％）に重みを掛けて合計し、総重みで割ったものです。それまではNot scoredと表示されます。
Auto-review scorecardトグルは、すべての基準がAI評価を使用している場合にのみ利用可能です。
スコアカードに評価基準を追加する方法
Edit scorecard > New criteriaパネルで、Criteria nameの下に参照用のわかりやすい名前を入力します。例：Sentiment。
Descriptionの下に、評価すべき内容を255文字以内で説明します。AIレビュアーはこの説明を使って適用する評価を決定します。
Rating optionsの下で、基準に少なくとも2つの評価オプションがあるまでAdd optionをクリックします。Not applicableオプションは常にあり、カウントされません。
必要に応じて、Rating reasonsをオンにします。
Saveをクリックして基準を保存し、Eval settingsでSave changesをクリックしてスコアカードをEvalに紐付けます。
Evalsは、基準の説明とシミュレーションのトランスクリプト（イベントを除くすべてのメッセージ）を使って、すべての基準をAIで自動評価します。Score manuallyは利用できません。なぜならシミュレーションには人間のレビュアーがいないためです。Finのコンテンツ、手順、ガイダンスはまだAIレビュアーのコンテキストとして利用できません。
基準のスコア重み付けとCritical設定の方法
Evaluation criteriaテーブルでは、各基準にScore weightingとCritical設定があります。
Score weighting: 基準がReview score (%)にどれだけ影響するか。Not scoredの基準には重み付けがありません。
Critical: Critical基準が不合格の場合、レビュー得点に関係なくスコアカード全体が不合格になります。Not scoredの基準にはCriticalチェックボックスは利用できません。
シミュレーションのスコアカード結果の読み方
Finが単一の会話でどのように評価されたかを見るには、スコアカード付きのEvalからシミュレーションを開きます。Handoffチェックやシミュレーションチェックと並んで、シミュレーションはReview scoreと各基準に対してLLM（大規模言語モデル）判定者が付けた評価を表示します。基準でRating reasonsがオンの場合、判定者の理由も表示され、なぜその評価になったかがわかり、改善に役立てられます。