効果的な基準を書くことは、実際の問題を浮き彫りにするMonitorと、ノイズでキューを埋め尽くすMonitorを分けるものです。このガイドでは、Monitorのフラグ基準とScorecardの属性説明の両方のベストプラクティスを扱います。Monitorは現在、Fin AI Agentの会話のみを評価します。
注意: MonitorsはProアドオンの一部として利用可能です。
Monitorフラグ基準とスコアカード属性説明の違い
これら2種類の基準は動作が異なるため、書き方も異なる必要があります。
| Monitorフラグ基準 | スコアカード基準の説明 |
目的 | どの会話をレビューするかを決定する | 各会話の評価方法を定義する |
ロジック | はい/いいえ - 各Monitorは独立して実行される | 競合 - AIが単一の最適な一致を選択する |
主な課題 | 偽陽性と偽陰性を減らすこと | 基準値間の重複を排除すること |
Monitorフラグ基準を書くためのベストプラクティス
Monitorは独立したはい/いいえチェックとして実行されます。複数のMonitorが同じ会話にフラグを立てることがあり、それは問題ありません。このため、区別よりも精度が重要です。
1. 推測された意図ではなく、観察可能な行動を記述する
会話に現れるものに焦点を当ててください。
避けるべき例：顧客が苛立っている
推奨例：顧客が「これは受け入れられない」「非常に失望している」「これはばかげている」などのフレーズを使う。
AIは感情的な解釈よりも明示的な信号を評価する方が性能が良くなります。
2. 具体的な例を含める
例はあいまいさを大幅に減らします。
明示的な表現パターンを使う：例、サブスクリプションをキャンセルする、アカウントを閉じる、データを削除する
例はモデルを実際の言語に結びつけます。
3. 明確な除外条件を追加する
偽陽性を減らすことはMonitorにとって重要です。
例：顧客が罵り言葉を使う。除外：damnやcrapのような軽い言葉。トリガーすべきでない場合は明確に記述してください。
4. 定量的な閾値を使う
あいまいな表現は避ける。
悪い例：Finが短い返答をする。
良い例：Finの返答が50語未満である。
具体的な閾値は一貫性を高めます。
5. 複数ステップのロジックは番号付き基準に分ける
Monitorが順序やパターンに依存する場合は、明確に構造化してください。
顧客が苛立ちを表現する。
Finが感情を認めずに応答する。
顧客が不満を繰り返す。
これによりロジックが決定的になり、評価が容易になります。
6. シンプルに保つ
ルールが単純なら、複雑にしすぎないでください。
例：Finが次のステップを提案する（例：キャッシュをクリアしてください、ログアウトして再ログインしてください、このリンクをクリックしてください）。
明快さは複雑さに勝る。
7. 「explicitly」を使って顧客の直接的な言葉を要求する
Monitorが顧客の直接的な発言時のみトリガーすべき場合は、基準に「explicitly」という言葉を含めてください。これがないと、AIは文脈から意図を推測し、示唆されただけの行動も一致させる可能性があります。
「explicitly」なし：顧客が折り返し電話を要求する — AIが「セキュリティチームに繋げてくれますか？」を折り返し電話の要求と推測する可能性があります。
「explicitly」あり：顧客が明確に折り返し電話を要求する — 顧客が直接「電話をもらえますか？」「電話してください」と言った場合のみ一致します。
ヒント: Monitorテストツールを使って、実際の会話に対して基準を検証し、オンにする前に調整してください。フラグ基準を更新し、結果がMonitorが捉えたい内容を正確に反映するまでテストを繰り返しましょう。
スコアカード基準説明を書くためのベストプラクティス
基本原則：基準は競合します。AIは全リストを見て、各基準に対して最適な一致を1つ選びます。あなたの役割はその選択を明確にすることです。
1. 明確で簡潔な名前を使う
名前は短く具体的に。リストを読むだけで目的がすぐに分かるように。
悪い例：顧客コミュニケーションの問題
良い例：トーン - 無礼または軽視的
2. 包括的な説明を書く
説明は分類の信号の大部分を担います。
該当するすべての会話タイプを明示的に説明してください。
キーワード、一般的な表現、例を含めてください。
エッジケースも考慮して含めてください。
良い例と悪い例を明確にしてください。
説明は抽象的な定義だけでなく、実際の言い回しをAIが認識しやすくするべきです。
注意: 評価説明文は2,500文字以内にしてください。
3. 基準を明確に区別する
同じスコアカード内の基準は概念的に競合してはいけません。
意味の重複を避ける。
各属性に明確な境界を設ける。
同じ理由で2つの属性が適用されうる場合は、どちらかを洗練してください。
1つの会話がスコアカード内の複数基準に当てはまっても問題ありません。重要なのは各基準セット内で値が明確に区別できることです。
4. 品質を体系的に評価する
分類体系を見直す際、各基準を以下で評価してください。
明快さ / 簡潔さ
説明の包括性
基準の区別
重複する基準（あれば）
最終スコア＋コメント
この構造化されたレビューにより定義を厳密にし、あいまいさを減らせます。これが分類性能の向上に直結します。
よくある質問
フラグ基準はどのくらいの長さが適切ですか？
フラグ基準はどのくらいの長さが適切ですか？
固定の長さはありません。正確に行動を記述するのに必要な長さが適切です。単純なMonitorなら2〜3文で十分かもしれません。複雑なもの（多段階の失敗パターン検出など）は番号付きの構造化された説明が必要です。詳細を多めにする方が良いです。
同じスコアカード基準を複数のスコアカードで使えますか？
同じスコアカード基準を複数のスコアカードで使えますか？
はい。基準のタイトルと説明は再利用可能です。一度作成した基準は複数のスコアカードに追加できます。ただし、過去の評価スコアは再利用できず、各スコアカードで新たに設定する必要があります。
Monitorフラグ基準とスコアカード基準説明の違いは何ですか？
Monitorフラグ基準とスコアカード基準説明の違いは何ですか？
Monitorフラグ基準は会話がMonitorに取り込まれるかどうかを決める、はい/いいえのフィルターです。スコアカード基準説明は、Monitor内の各会話がどのように評価されるかを定義します。Monitorは網、スコアカードは定規のようなものと考えてください。