Evals são grupos temáticos de testes, como “Pedidos de reembolso”, “Cenários de escalonamento” ou “Tom e simpatia.”

Simulações são os testes individuais dentro de um Eval. Cada uma é uma conversa realista e com múltiplas interações entre um cliente simulado e o Fin, junto com as verificações contra as quais o comportamento do Fin é avaliado.

Como gerenciar seus Evals: encontre, filtre, marque e crie Evals, e importe Simulações de um arquivo CSV (comma-separated values).

Configure Simulações para Evals: escolha o cliente simulado, os dados que o Fin vê e as verificações nas quais o Fin será avaliado, ou crie uma Simulação a partir de uma conversa real.

Como executar Evals e interpretar os resultados: execute Simulações, entenda cada resultado e teste em outros idiomas.

Como adicionar um Scorecard a um Eval: avalie a qualidade das respostas do Fin, assim como aprovação ou reprovação.

Crie e execute Evals com Operator: deixe o Operator criar, executar, analisar e agendar Evals para você.

Antes de enviar uma alteração: para conteúdo, orientação, Procedures ou qualquer outra coisa na configuração do Fin.

Enquanto trabalha em um Release: para testar as alterações do seu Release juntas, antes de entrarem no ar.

Após uma correção: para confirmar que você resolveu o problema que se propôs a resolver.

De forma contínua: para reexecutar seus Evals mais importantes como uma suíte de regressão e detectar mudanças inesperadas antes dos clientes.

Antes de colocar o Fin no ar: para verificar se sua configuração funciona como esperado antes que os clientes conversem com o Fin pela primeira vez.

Novos Evals e Simulações que você criar dentro de um Release não aparecem nos seus Evals ao vivo até que o Release seja mesclado.

Os resultados são mantidos separadamente para cada Release. As execuções dentro de um Release não alteram os resultados que você vê no Main Fin.

Se você alterar o Release após executar um Eval, os resultados serão marcados como desatualizados. Execute o Eval novamente.

Dentro de um Release, você não pode renomear ou excluir Evals existentes, nem editar um Scorecard.

Tags não são salvas em um Release. As alterações de tags feitas dentro de um Release se aplicam imediatamente aos seus Evals ao vivo.

Executar Evals não é obrigatório para mesclar um Release, mas recomendamos fortemente.

Use Procedure Simulations enquanto estiver construindo uma Procedure, para verificar se ela se comporta corretamente sozinha.

Use Evals assim que essa Procedure estiver ativa, para testar a conversa completa, incluindo como ela funciona com seu conteúdo, orientação, conectores de dados e transferências.

Se você usa Batch Test hoje, comece a construir cenários equivalentes como Evals. Você pode exportar suas perguntas do Batch Test para um arquivo CSV e importá-las como Simulações.

Até 50 Simulações por Eval, e até 50 linhas por importação CSV.

Tags se aplicam apenas a Evals. Você não pode marcar Simulações individuais, nem executar todos os Evals com uma tag de uma vez.

Sem notificações. Você não será notificado quando uma execução terminar.

Sem anotação de revisor ainda. Não há como registrar se um revisor concorda ou discorda de um resultado.

Sem modelos pré-construídos ainda. Categorias comuns de teste, como injeção de prompt, não têm um ponto de partida pronto.

Workflows não são simulados. Uma verificação de Handoff pode confirmar que o Fin passa uma conversa para um workflow, mas Evals não simulam o que o workflow faz em seguida.