Use este artigo para adicionar um Scorecard a uma Avaliação, criar um novo Scorecard, adicionar critérios e definir a ponderação e a configuração Crítica de cada critério.
Como adicionar um Scorecard a uma Avaliação
Um Scorecard adiciona pontuação de qualidade a uma Avaliação, como Esclarecimento ou Eficiência, além das verificações de aprovação/reprovação. Até que uma Avaliação tenha um Scorecard, ela mostra apenas resultados da Simulação e nenhuma avaliação de Qualidade. Um Scorecard se aplica a toda Simulação na Avaliação, com os mesmos critérios para cada uma.
Vá para Test > Evals e abra a Avaliação.
Clique em Add scorecard no canto superior direito da Avaliação, ao lado de New simulation.
Após adicionar um Scorecard, uma seção Quality evaluation aparece no topo da Avaliação, ao lado de Simulation results. Os critérios exibidos vêm do Scorecard que você adicionou, então a seção lista os critérios que esse Scorecard contém. Ela mostra a Review score geral e a média para cada um desses critérios. A lista de conversas simuladas também ganha uma coluna Review score e uma coluna para cada critério.
Você também pode adicionar um Scorecard em Eval settings. Para abrir Eval settings em uma Avaliação existente, clique no menu de opções (...) ao lado de New simulation, depois clique em Edit eval. Em Eval settings, abra o menu suspenso Quality evaluation, então escolha um Scorecard existente ou clique em Create new scorecard. O padrão é No scorecard.
Nota: Scorecards são compartilhados com Monitors, então alterações em um Scorecard se aplicam em todos os lugares onde ele é usado. Para escrever critérios que pontuem de forma confiável, veja o artigo Como escrever critérios eficazes para Monitor & Scorecard.
Como criar um Scorecard para uma Avaliação
Para criar um Scorecard para uma Avaliação, dê um nome e adicione os critérios nos quais o Fin é avaliado. Scorecards de Avaliação sempre avaliam o Fin, então a configuração Who's evaluated está fixa em Fin AI Agent, e Human teammates assigned não está disponível.
Em Eval settings, abra o menu suspenso Quality evaluation e clique em Create new scorecard. O menu suspenso então mostra New scorecard, e o formulário New scorecard aparece abaixo dele.
Em Scorecard name, insira um nome.
Em Evaluation criteria, clique em + Criteria. O painel Edit scorecard > New criteria será aberto. Para preenchê-lo, veja "Como adicionar critérios a um Scorecard" abaixo.
Após adicionar critérios pontuados, a seção Review score (%) mostra uma média ponderada deles. Ela é calculada multiplicando a pontuação (%) de cada critério pelo seu peso, somando os resultados e dividindo pelo peso total. Até lá, mostra Not scored.
O botão Auto-review scorecard está disponível apenas quando todos os critérios usam avaliação por IA.
Como adicionar critérios a um Scorecard
No painel Edit scorecard > New criteria, em Criteria name, insira um nome claro para referência, por exemplo Sentiment.
Em Description, descreva o que deve ser avaliado, em até 255 caracteres. O avaliador de IA usa essa descrição para decidir qual classificação aplicar.
Em Rating options, clique em Add option até que o critério tenha pelo menos 2 opções de classificação. A opção Not applicable está sempre presente e não conta.
Opcionalmente, ative Rating reasons.
Clique em Save para salvar o critério, depois clique em Save changes em Eval settings para anexar o Scorecard à Avaliação.
As Avaliações pontuam automaticamente cada critério com IA, usando a descrição do critério e a transcrição da Simulação (todas as mensagens, excluindo eventos). Score manually não está disponível, porque Simulações não têm avaliador humano. Conteúdo Fin, Procedimentos e orientações ainda não estão disponíveis para o avaliador de IA como contexto.
Como definir ponderação de pontuação e Criticidade para um critério
Na tabela Evaluation criteria, cada critério tem uma Score weighting e uma configuração Critical:
Score weighting: quanto o critério conta para a Review score (%). Critérios que mostram Not scored não têm ponderação.
Critical: se um critério Crítico falhar, todo o scorecard falha, independentemente da pontuação da avaliação. A caixa de seleção Critical não está disponível para critérios que mostram Not scored.
Como ler os resultados do Scorecard para uma Simulação
Para ver como o Fin pontuou em uma única conversa, abra uma Simulação de uma Avaliação que tenha um Scorecard. Junto com sua verificação de Transferência e verificações da Simulação, a Simulação mostra sua Review score e, para cada critério, a classificação dada pelo juiz LLM (modelo de linguagem grande). Se Rating reasons estiver ativado para um critério, você também verá o motivo do juiz, para entender por que uma resposta recebeu aquela pontuação e transformar isso em uma correção.