Use este artigo para encontrar, filtrar e marcar seus Evals, criar um novo Eval, organizar seus Evals, importar Simulações de um arquivo CSV (comma-separated values), adicionar um Scorecard e ver como Fin está performando em seus Evals.

A página de Evals lista todos os Evals no seu espaço de trabalho, para que você possa ver como cada grupo de testes performou e executá-los novamente. Um Eval é um grupo temático de testes, e cada teste dentro dele é chamado de Simulação. Para abrir a página, vá para Test > Evals.

A tabela de Evals tem estas colunas:

Para organizar seus Evals, agrupe Simulações em Evals pelo tema que fizer sentido para seu negócio. Muitas equipes começam pelo que ainda não está funcionando, e depois expandem a partir daí. Pontos comuns para começar incluem:

Com o tempo, construa um ou alguns Evals como um "conjunto dourado" que cubra as conversas que mais importam para você. Execute o conjunto dourado regularmente, por exemplo semanalmente ou sempre que alterar a configuração do Fin, para garantir que seus cenários mais importantes ainda funcionem.

Para encontrar um Eval por nome, digite na caixa Search evals no topo da página de Evals. Para restringir a lista, clique em Add Filter e escolha Result ou Tag.

Para criar um Eval, escolha se deseja construí-lo manualmente ou importar uma lista de cenários de clientes de um arquivo CSV.

Cada Eval pode conter até 50 Simulações. Para importar de um arquivo CSV, veja "Como importar Simulações de um arquivo CSV" abaixo. Para configurar as Simulações dentro de um Eval, veja o artigo Configurar Simulações para Evals.

Para importar Simulações de um arquivo CSV, faça o upload na página de Evals ou dentro de um Eval. Cada linha vira uma Simulação, e você revisa cada correspondência de coluna antes de salvar. Para importar, você precisa de Can view configuration and propose changes in a draft release ou Can view configuration and publish changes directly to main (individually or in a release) em Fin AI Agent & Automation.

Para importar para um novo Eval, vá para Test > Evals, clique em New eval e selecione Upload a CSV. Para adicionar Simulações a um Eval que você já tem, abra-o, selecione Import CSV no menu de opções (...) e escolha esse Eval em Import to.

Uma importação CSV pode preencher 5 campos de Simulação. Apenas a mensagem de abertura é obrigatória.

Para começar com um arquivo pronto, clique em Download template na caixa de diálogo Upload a CSV file. O modelo tem uma coluna para cada um dos 5 campos. Os cabeçalhos das colunas não precisam corresponder exatamente ao modelo. Nomes comuns como question, prompt, persona, outcome ou ground truth são reconhecidos automaticamente. Arquivos separados por vírgula, ponto e vírgula e tabulação funcionam todos.

Cada campo de Simulação é correspondido a uma coluna, e as colunas que você não usar são listadas em Não usadas e ignoradas. Se uma resposta esperada tiver mais de 1.000 caracteres, será perguntado o que fazer: Deixar de fora (padrão) importa a linha sem essa resposta, Cortar para 1.000 caracteres mantém o início da resposta, e Pular essas linhas exclui a linha inteira.

Se um valor de Canal ou Transferência não for reconhecido pelo Fin, como WhatsApp ou Sim, um aviso aparece nesse campo.

Você também pode escolher Pular linhas para excluir essas linhas da importação.

Após a importação, uma confirmação mostra quantas Simulações foram criadas. Cada linha aparece na Avaliação como uma Simulação nomeada pela mensagem inicial, pronta para você clicar em Executar tudo. As Simulações importadas usam o Cliente de teste e todas as marcas, então abra uma Simulação para escolher um cliente específico. Tags são adicionadas à Avaliação, não no arquivo CSV. Quando você importa dentro de uma Versão, as Simulações são adicionadas a essa Versão.

Se suas linhas fizerem uma Avaliação existente ultrapassar 50 Simulações, você verá quantas ainda cabem e poderá selecionar Importar os primeiros [número] para importar apenas essas. Se alguma linha for rejeitada na importação, nada será salvo. Cada linha com problema é listada com o motivo, e você pode selecionar Importar sem essas linhas para importar o restante.

Tags agrupam Avaliações relacionadas para que você as encontre rapidamente conforme sua suíte cresce. Por exemplo, marque por tópico (Reembolsos), equipe ou responsável (Equipe de cobrança), tipo de teste (Regressão, Escalada) ou idioma (Francês). Uma Avaliação pode ter quantas tags você precisar.

Para ver e criar tags, clique em Tags no canto superior direito da página de Avaliações. O painel de Tags lista cada tag e quantas Avaliações a usam, e você pode encontrar uma tag com a caixa Pesquisar tags.

Para renomear ou excluir uma tag, clique em Tags no topo da página de Avaliações, ou selecione Gerenciar tags no seletor de tags. O painel mostra quantas Avaliações usam cada tag. Excluir uma tag a remove de todas as Avaliações, incluindo Avaliações em Versões.

Um Scorecard adiciona pontuação de qualidade a uma Avaliação, como Esclarecimento ou Eficiência, além das verificações de aprovação/reprovação. Para adicionar um, abra a Avaliação e clique em Adicionar scorecard no canto superior direito, ao lado de Nova simulação. Depois de adicioná-lo, uma seção Avaliação de qualidade aparece ao lado de Resultados da simulação. Para criar um Scorecard, adicionar critérios e definir o peso da pontuação e a configuração Crítico de cada critério, veja o artigo Como adicionar um Scorecard a uma Avaliação.

Para ver como o Fin se saiu em todas as suas Avaliações, veja o resumo no topo de Teste > Avaliações. Ele reflete a última vez que cada Simulação foi executada, e tem duas partes:

O resumo é atualizado com sua busca e filtros, então filtrar por uma tag mostra resultados apenas para essas Evals. Para comparar execuções anteriores, abra uma Simulação e clique no menu suspenso do histórico de execuções ao lado do resultado. Ele lista cada execução por data com seu resultado.