Use este artigo para executar as Simulações em um Eval, ler os resultados na página do Eval e revisar como o Fin se saiu em uma única Simulação.
Como executar as Simulações em um Eval
Para executar todas as Simulações em um Eval de uma vez, abra o Eval e clique em Executar tudo. Para executar uma Simulação, clique no botão de executar na sua linha. Enquanto uma Simulação está em execução, a coluna Última execução mostra Agora mesmo e a coluna Resultado mostra Executando. Quando termina, o Resultado muda para Passou, Falhou ou Erro.
O que acontece quando você executa um Eval?
Quando você executa um Eval, os resultados não são instantâneos, porque cada Simulação é uma conversa completa de múltiplas interações. Fin responde, o cliente simulado responde, e a conversa continua até terminar. Depois disso, as verificações e qualquer Scorecard são avaliados. Uma Simulação pode levar alguns minutos, e um Eval completo pode levar mais tempo.
As Simulações são enfileiradas e executadas algumas de cada vez, não todas de uma vez. Enquanto esperam, aparecem como Na fila. Quando começam, aparecem como Executando.
O resultado do Eval é atualizado conforme cada Simulação termina, por exemplo 3/10 Executando. As pontuações do Scorecard aparecem logo após a conclusão da conversa.
As execuções acontecem em segundo plano. Você pode sair da página e voltar depois para ver os resultados. Você não receberá uma notificação quando uma execução terminar.
Se você executar vários Evals ao mesmo tempo, eles ficam enfileirados, então cada um demora mais para terminar.
Para parar uma execução, clique no botão de parar no Eval ou na Simulação. Simulações paradas ainda contam para sua cota mensal de Simulações.
Para executar apenas algumas Simulações, selecione-as e clique em Executar, ou pesquise ou filtre a lista e clique em Executar filtrado.
Dica: Enquanto você está iterando em uma correção, execute apenas as Simulações que lhe interessam em vez de todo o Eval. Guarde o Executar tudo para verificações de regressão antes de publicar uma alteração.
Quantas Simulações você pode executar por mês?
Seu workspace pode executar um número definido de Simulações em Evals por mês. O limite se aplica a todo o workspace e é reiniciado no primeiro dia de cada mês do calendário. Sua cota mensal de Simulações é baseada no volume de conversas do seu workspace, e workspaces maiores recebem cotas maiores.
Seu workspace é atribuído a um segmento usando o número de conversas nos últimos 30 dias.
Seu segmento é reavaliado mensalmente, para que sua cota reflita seu volume de conversas mais recente.
Se seu volume de conversas aumentar ou diminuir, sua cota pode mudar no próximo ciclo mensal.
A tabela abaixo mostra a cota mensal de Simulações para cada segmento de volume de conversas.
Segmento de volume de conversas | Limite de Simulações por mês |
Menos de 1K | 250 |
1K–15K | 1.000 |
15K–100K | 1.750 |
100K–1M | 5.000 |
1M+ | 12.500 |
O que acontece quando você atinge seu limite mensal de Simulações?
Quando seu workspace atinge 80% do limite mensal de Simulações, um banner amarelo mostra seu uso atual (por exemplo, 850/1000) e quando o limite será reiniciado. Ao atingir 100%, uma mensagem vermelha aparece, e você não pode executar mais Simulações até o próximo mês. Se você clicar em Executar tudo perto do seu limite, as Simulações que cabem na sua cota são executadas, e o restante não começa.
O que você vê em uma página de Eval?
Uma página de Eval mostra os resultados de um Eval e lista as Simulações dentro dele. Para abri-la, clique no nome de um Eval na página de Evals. O nome do Eval aparece no título da página, após o breadcrumb Evals.
Botões no topo: Operador, um menu ⋯, Adicionar scorecard e Nova simulação.
Filtros: uma caixa Pesquisar simulações, um filtro Resultado, as tags anexadas ao Eval e um botão + Tag.
Resultados das simulações: o número de Simulações que passaram, por exemplo 4/6 passaram, com uma barra de progresso.
Conversas simuladas: uma tabela com a Conversa simulada (a mensagem inicial do cliente), Notas, Última execução e Resultado (Passou ou Falhou) para cada Simulação, além de um botão de executar em cada linha.
Executar tudo: executa todas as Simulações no Eval.
A contagem dos Resultados das simulações cobre o número de Simulações no Eval que passaram em todas as verificações de Simulação e critérios de Handoff quando foram executadas pela última vez. Para ver essa definição, passe o mouse sobre o ponto de interrogação ao lado de Resultados das simulações.
O que você pode fazer no menu do Eval?
Clique no menu ⋯ no topo da página do Eval para escolher uma destas opções: Editar eval, Importar CSV ou Excluir eval.
O que você vê em uma página de Simulação?
Uma página de Simulação mostra uma conversa simulada, as verificações em que foi avaliada e como o Fin se saiu. Para abri-la, clique na linha de uma Simulação na página do Eval. O título da página mostra o caminho Evals, depois o nome do Eval, depois Simulação.
Botões no topo: Operador, Editar, um menu ⋯, Executar e um botão de fechar.
Resumo do resultado: a mensagem inicial do cliente, um rótulo Passou ou Falhou e quando a Simulação foi executada pela última vez.
ID da execução da simulação: um ID para a execução, com um botão de copiar.
Conversa: o que o cliente de teste disse e como o Fin respondeu, incluindo eventos que o Fin registrou ao longo do caminho, como a definição do idioma.
Handoff: um rótulo Passou ou Falhou e o handoff esperado, por exemplo Esperado: Sem handoff.
Verificações da simulação: um rótulo Passou ou Falhou para cada verificação. Uma verificação Resposta do Fin mostra os critérios que você definiu e o motivo pelo qual passou ou falhou.
Notas: um lugar para adicionar uma nota sobre a Simulação clicando em Adicionar uma nota.
Scorecard (se o Eval tiver um): a pontuação da Revisão e a avaliação para cada critério.
Para alterar o que uma Simulação verifica, veja o artigo Configurar Simulações para Evals.
Como ler o resultado de uma Simulação
Quando uma Simulação termina, ela mostra Passou, Falhou ou Erro. Uma Simulação passa somente se todas as verificações de Simulação e Handoff passarem, então uma única verificação falhada significa que a Simulação falhou. Para cada Simulação, você obtém o resultado geral, a transcrição completa da conversa e o registro de eventos mostrando o raciocínio do Fin e as ferramentas e informações que ele usou em cada etapa.
Falhou: a conversa terminou, mas o Fin não atendeu a uma das suas verificações. Abra a transcrição e o registro de eventos para ver onde o comportamento do Fin divergiu das verificações que você definiu.
Erro: a conversa não pôde ser concluída. Execute novamente, depois verifique a configuração da Simulação (mensagem do cliente, dados ou verificações) para possíveis erros.
Se uma única conversa precisar que o Fin trabalhe em vários Procedimentos, você verá o Fin alternar entre Procedimentos conforme a conversa simulada se desenrola, assim como faria para um cliente real. Cada Simulação mantém suas últimas 15 execuções, e você pode usar o menu suspenso do histórico de execuções em uma Simulação para revisar resultados anteriores.
O que significam os resultados do Eval na lista de Evals?
Cada Eval na lista de Evals mostra um resultado geral. Estas são também as opções no filtro Resultado:
Não executado: nenhuma das Simulações do Eval foi executada ainda.
Na fila: a execução está esperando para começar.
Executando: Simulações estão sendo executadas agora, com uma contagem de quantas (por exemplo, 3/10 Executando).
Passou: todas as Simulações passaram.
Parcialmente passou: algumas Simulações passaram, e algumas falharam ou deram erro.
Falhou: nenhuma Simulação passou.
Cancelado: a execução foi cancelada antes que alguma Simulação obtivesse um resultado.
Inprocessável: nenhuma Simulação obteve um resultado, porque foram deletadas antes de poderem ser executadas.
Evals Passados, Parcialmente passados e Falhados mostram uma contagem, como 8/10 Passaram. O selo é verde quando todas as Simulações passaram, e vermelho quando menos da metade passou.
Por que minha Simulação falhou quando a resposta do Fin parecia correta?
Uma Simulação pode falhar na verificação padrão Sem handoff mesmo quando a resposta do Fin parecia correta. Se você adicionar uma Simulação sem uma verificação explícita de Handoff e sem verificações de Simulação, a Simulação passa somente se o Fin resolver a conversa sem transferir para uma equipe ou fluxo de trabalho. Esse padrão não é mostrado na configuração da Simulação, então verifique se uma verificação de Handoff foi definida quando uma Simulação falha e você não consegue ver o motivo.
Dica: Adicione uma verificação explícita de Handoff para cada Simulação, para que o resultado de passou/falhou reflita sua intenção, não o padrão.
Como testar o Fin em idiomas além do inglês
Para testar o Fin em outro idioma, escreva a primeira mensagem do cliente nesse idioma. As Simulações suportam os mesmos idiomas que o Fin, e você não precisa definir um idioma. Quando uma Simulação começa, o Fin detecta o idioma da primeira mensagem usando a mesma detecção de idioma das conversas ao vivo, e o usa para toda a Simulação. O Fin responde nesse idioma, o cliente simulado escreve suas mensagens de acompanhamento nele também, e os Scorecards são avaliados nesse idioma.
Se o cliente simulado tiver uma Substituição de idioma definida, o Fin usa essa em vez disso, assim como faria para um cliente real.
O Fin respeita as configurações multilíngues do seu workspace. Se o idioma detectado não for um que você tenha habilitado para o Fin, ou o Fin não conseguir detectá-lo com confiança suficiente (por exemplo, a partir de uma mensagem muito curta como "Oi"), ele recorre ao idioma do Messenger do cliente, depois ao idioma padrão do seu workspace.
Você pode ver qual idioma foi usado na transcrição da Simulação, por exemplo Fin definiu o idioma para espanhol.
Para testar o mesmo cenário em vários idiomas, crie uma Simulação por idioma e use tags nos Evals para agrupá-las. Escreva mensagens iniciais com pelo menos uma frase completa para que a detecção de idioma seja confiável. O idioma é definido uma vez no início e não muda se o cliente mudar de idioma no meio da conversa.
Como reexecutar Evals após uma alteração e em uma programação
Depois de alterar o conteúdo, as orientações, os Procedimentos ou as Skills do Fin, reexecute seus Evals existentes para verificar regressões. Cada Simulação é armazenada e reutilizável, então reexecutar leva um clique em vez de recriar seus cenários de teste. Para executar Evals em uma programação regular, como toda segunda-feira de manhã, configure uma Rotina no Operator que execute os Evals escolhidos nos horários que você selecionar. O agendamento não está disponível na página de Evals.