メインコンテンツにスキップ

Evalsの管理方法

Evalsの検索、フィルタリング、タグ付け、作成、CSVファイルからのSimulationsのインポート、Scorecardの追加、FinのEvals全体でのパフォーマンス確認。

この記事を使って、Evalsの検索、フィルタリング、タグ付け、新しいEvalの作成、Evalsの整理、CSV(comma-separated values)ファイルからのSimulationsのインポート、Scorecardの追加、FinのEvals全体でのパフォーマンス確認を行います。


Evalsページとは?

Evalsページにはワークスペース内のすべてのEvalが一覧表示され、各テストグループのパフォーマンスを確認し、再実行できます。Evalはテーマ別のテストグループで、その中の各テストはSimulationと呼ばれます。ページを開くには、Test > Evalsに移動してください。

Evalsテーブルには以下の列があります:

  • Eval名:Evalの名前とその横にある実行ボタン。

  • 結果:Evalの最新実行時のパフォーマンス例、例えば4/6合格。

  • タグ:Evalに付けられたタグ。

  • 最終実行日:Evalが最後に実行された日付。

  • 最終実行者:Evalを最後に実行した人。

  • 最終更新日:Evalが最後に変更された日時。

  • 作成日:Evalが作成された日時。


Evalsの整理方法

Evalsを整理するには、Simulationsをビジネスに合ったテーマでEvalsにグループ化します。多くのチームはまだ機能していない部分から始め、そこから拡張します。一般的な出発点は以下の通りです:

  • 既知の問題:Finが誤った、不完全、または役に立たない回答をした会話。各問題をSimulationとして再現し、原因を修正して再実行し修正を確認します。

  • エスカレーションシナリオ:Finがチームメイトに引き継ぐべき(または引き継ぐべきでない)状況。

  • トピックシナリオ:返金リクエストなどの1つのトピックを様々なバリエーションでテスト。会話量で上位10〜20のトピックが良い出発点です。

  • 行動シナリオ:トピックに関係なく、Finが異なる状況でもトーンとブランドを維持しているかをチェック。

時間をかけて、最も重要な会話をカバーする「ゴールデンセット」として1つまたは複数のEvalsを構築します。ゴールデンセットは定期的に(例えば週次やFinの設定変更時に)再実行し、重要なシナリオが機能し続けていることを確認します。


名前、結果、タグでEvalを見つける方法

名前でEvalを見つけるには、Evalsページ上部のSearch evalsボックスに入力します。リストを絞り込むには、Add Filterをクリックし、ResultまたはTagを選択します。

結果でEvalsをフィルタリングする方法

  1. Test > Evalsに移動します。

  2. Add Filterをクリックし、次にResultをクリックします。

  3. 1つ以上の結果を選択します:Not run、Running、Queued、Passed、Partially passed、Failed、Canceled、またはUnprocessable。


新しいEvalを作成する方法

Evalを作成するには、手動で作成するか、CSVファイルから顧客シナリオのリストをインポートするかを選択します。

  1. Test > Evalsに移動します。

  2. New evalをクリックします。

  3. Create manuallyを選択して自分でSimulationsを作成するか、Upload a CSVを選択して顧客シナリオのリストをインポートします。

  4. Evalには明確で説明的な名前を最大250文字で付けて、後で再実行するときに内容がわかるようにします。

各Evalには最大50のSimulationsを保持できます。CSVファイルからのインポート方法は「How to import Simulations from a CSV file」を参照してください。Eval内のSimulationsの設定は「Set up Simulations for Evals」記事を参照してください。

CSVファイルからSimulationsをインポートする方法

CSVファイルからSimulationsをインポートするには、EvalsページまたはEval内からアップロードします。各行が1つのSimulationになり、保存前にすべての列の一致を確認します。インポートにはFin AI Agent & AutomationのCan view configuration and propose changes in a draft releaseまたはCan view configuration and publish changes directly to main (individually or in a release)権限が必要です。

新しいEvalにインポートするには、Test > Evalsに移動し、New evalをクリックしてUpload a CSVを選択します。既存のEvalにSimulationsを追加するには、そのEvalを開き、オプションメニュー(...)からImport CSVを選択し、Import toでそのEvalを選びます。

SimulationsのCSVファイルに含めるものは?

CSVインポートで5つのSimulationフィールドを埋められます。必須はOpening messageのみです。

  • Opening message(必須):シミュレートされた顧客がFinに最初に話す内容。

  • Follow-up instructions:顧客が知っていること、Finに尋ねられた場合に共有する内容、コミュニケーション方法。

  • Channel:シミュレートされた顧客が書き込むチャネル。

  • Handoff:Finが会話を引き継ぐかどうか。なし、チームへ、またはワークフローへ。

  • Expected answer:Finが合格するために言うべきことや行うべきこと。各Expected answerはFinの返信チェックになります。複数のExpected answerを1つのSimulationに追加するには、同じセル内でそれぞれを改行してください。

準備済みファイルから始めるには、Upload a CSV fileダイアログのDownload templateをクリックします。テンプレートには5つのフィールドそれぞれの列があります。列ヘッダーはテンプレートと完全一致する必要はありません。question、prompt、persona、outcome、ground truthなどの一般的な名前は自動的にマッチします。カンマ、セミコロン、タブ区切りのファイルすべて対応。

CSVインポートの制限は?

制限

値

ファイルおよびEvalごとの行数

50

ファイルサイズ

10 MB

予想される回答ごとの文字数

1,000

一致させるシミュレーションフィールド

5

CSVファイルをアップロードして列をシミュレーションフィールドに一致させる方法

  1. CSVファイルをアップロードダイアログで、CSVファイルをドラッグするかファイルを選択をクリックします。ファイルはブラウザで読み込まれ、保存される前に行数と列数とともに表として表示されます。別のファイルを使う場合はファイルを置き換えをクリックしてください。

  2. 表を確認してから続行をクリックします。

  3. 列を一致させるステップで、各列に一致したシミュレーションフィールドを確認し、間違っているものは変更するか、最初からやり直すには一致をリセットをクリックします。

  4. インポート先の隣で新しいevalを選択し名前を入力するか、既存のEvalを選んでシミュレーションを追加します。

各シミュレーションフィールドは1つの列に一致し、使用しない列は未使用の下にリストされ無視されます。予想される回答が1,000文字を超える場合、どうするか尋ねられます:除外する(デフォルト)はその回答なしで行をインポートし、1,000文字に切り詰めるは回答の最初を保持し、これらの行をスキップは行全体を除外します。

CSVファイルを編集せずにChannelとHandoffの値を修正する方法

ChannelまたはHandoffの値がFinが認識しないもの(例:WhatsAppやYes)の場合、そのフィールドに警告が表示されます。

  1. ChannelまたはHandoffフィールドの警告を選択します。

  2. 認識されない各値が何を意味するか選択します。

  3. 適用をクリックします。

また、行をスキップを選択してそれらの行をインポートから除外することもできます。

CSVファイルからシミュレーションをプレビューしてインポートする方法

  1. シミュレーションをプレビューをクリックすると、最初のメッセージ、フォローアップ指示、Finの返信チェック、ハンドオフを含め、各行がどのように実行されるかを確認できます。

  2. ダイアログの下部で行数を確認します。インポートされる行数(例:10行中9行)と除外される行数が表示されます。

  3. インポートをクリックします。

インポート後、何件のシミュレーションが作成されたかの確認が表示されます。各行はEval内に、開始メッセージの名前が付いたシミュレーションとして表示され、すべて実行をクリックする準備ができます。インポートされたシミュレーションはテストカスタマーとすべてのブランドを使用するため、特定の顧客を選ぶにはシミュレーションを開いてください。タグはCSVファイルではなくEvalに追加されます。リリース内でインポートすると、そのリリースにシミュレーションが追加されます。

CSVファイルからシミュレーションをインポートできない場合は?

  • 開始メッセージに一致する列がない、または行に開始メッセージがありません。

  • 新しいEvalに名前がないか、名前が既に使われています。

  • ファイルに50行を超える行があります。

行数が既存のEvalのシミュレーション数を50以上にする場合、まだ追加可能な数が表示され、最初の[number]行をインポートを選択してその分だけインポートできます。インポート時に行が拒否された場合は何も保存されません。問題のある行は理由とともにリストされ、これらの行を除いてインポートを選択して残りをインポートできます。


Evalにタグを付けて管理する方法

タグは関連するEvalをグループ化し、スイートが増えてもすぐに見つけられるようにします。例えば、トピック(返金)、チームや所有者(請求チーム)、テストの種類(回帰、エスカレーション)、言語(フランス語)でタグ付けできます。Evalは必要なだけタグを持てます。

Eval用のタグを作成する方法

タグを表示・作成するには、Evalページ右上のタグをクリックします。タグパネルには各タグと使用中のEval数が表示され、タグ検索ボックスでタグを探せます。

  1. テスト > Evalに移動します。

  2. タグをクリックし、次に新しいタグをクリックします。

  3. 名前の下にタグの名前を入力します。例:「返金」

  4. 必要に応じてEvalを追加をクリックし、タグ作成時に付けるEvalを選択します。

  5. タグを作成をクリックします。

Evalにタグを追加する方法

  • Evalリストから:1つ以上のEvalのチェックボックスを選択し、リスト上部のタグをクリックして追加するタグを選びます。一度に最大100件のEvalにタグ付けできます。

  • Eval内から:Eval名の下の+タグをクリックします。

タグでEvalをフィルターする方法

  1. テスト > Evalに移動します。

  2. フィルターを追加をクリックし、次にタグをクリックします。

  3. 1つ以上のタグを選択します。各タグは使用中のEval数を表示します。

Evalのタグを名前変更または削除する方法

タグを名前変更または削除するには、Evalページ上部のタグをクリックするか、タグピッカーでタグ管理を選択します。パネルには各タグの使用中Eval数が表示されます。タグを削除すると、リリース内のEvalを含むすべてのEvalからタグが削除されます。

注意:タグはEvalに適用され、個々のシミュレーションには適用されません。シミュレーションを別のグループに分けたい場合は、別々のEvalに分割してください。Evalのタグは会話や連絡先で使うタグとは別です。


Evalにスコアカードを追加する方法

スコアカードは、合否チェックに加えて、明確さや効率などの品質評価をEvalに追加します。追加するには、Evalを開き、右上のスコアカードを追加をクリックします(新しいシミュレーションの隣)。追加後、シミュレーション結果の隣に品質評価セクションが表示されます。スコアカードの作成、基準の追加、各基準のスコア重み付けと重要設定の方法は「Evalにスコアカードを追加する方法」記事を参照してください。


FinがEval全体でどのようにパフォーマンスを発揮しているかを見る方法

FinがすべてのEvalでどのようにパフォーマンスを発揮したかを見るには、テスト > Evalの上部にある概要を確認してください。これは各シミュレーションが最後に実行された時点を反映し、2つの部分で構成されています。

  • シミュレーション結果:すべてのシミュレーションチェックとハンドオフチェックに合格したシミュレーションの数。例えば、42/50 合格(84%)。エラーが発生したシミュレーションは不合格とカウントされ、まだ実行されていないシミュレーションも合計に含まれます。

  • 品質評価:各スコアカードについて、それを使用するすべての評価の平均レビュー得点と各基準の平均を表示します。矢印を使ってスコアカード間を移動してください。

サマリーは検索とフィルターに応じて更新されるため、タグでフィルターするとそのタグの評価結果のみが表示されます。以前の実行を比較するには、シミュレーションを開き、結果の横にある実行履歴ドロップダウンをクリックしてください。日付ごとに各実行とその結果が一覧表示されます。


Evals管理FAQ

Evalにはいくつのシミュレーションを保持できますか?

Evalは最大50のシミュレーションを保持できます。追加するには、既存のシミュレーションを削除するか、新しいEvalを作成してください。

CSVファイルからシミュレーションを作成できますか?

はい、CSVファイルからシミュレーションを作成できます。New evalをクリックし、次にUpload a CSVを選択してください。既存のEvalにインポートしたシミュレーションを追加するには、それを開いてオプションメニュー(...)からImport CSVを選択します。Batch Testの質問も同様に機能します:CSVファイルにエクスポートすると、各質問がシミュレーションの開始メッセージになります。

個別のシミュレーションにタグを付けられますか?

個別のシミュレーションにはタグを付けられません。タグはEvalにのみ適用されます。シミュレーションを別のグループに分けたい場合は、別々のEvalに分割してください。

誰がEvalを作成、編集、実行できますか?

Fin AI Agent & Automationの下でCan view configuration and propose changes in a draft releaseまたはCan view configuration and publish changes directly to main (individually or in a release)の権限を持つチームメイトは、Evalを作成、編集、タグ付け、実行できます。Can view configurationの権限を持つチームメイトはEvalとその結果を閲覧でき、タグでフィルターも可能です。

こちらの回答で解決しましたか?