Use este artigo para pedir ao Operator que crie, execute e analise Evals, revise as mudanças que ele propõe e agende execuções recorrentes. O Operator também pode recomendar melhorias para seus Evals e Simulações ou para a configuração do Fin. Para o básico, incluindo o que são Evals e Simulações, veja o artigo Evals explained.
Nota: Para usar Evals com o Operator, seu workspace precisa do Pro add-on e você precisa ter acesso ao Operator.
Como criar um Eval com o Operator
Para criar um Eval com o Operator, abra o Operator na navegação à esquerda e peça para criar um Eval para seu caso de uso. Por exemplo, você pode pedir para testar:
A Release em que você está trabalhando: as mudanças na configuração do Fin na sua Release atual, antes de entrarem no ar.
Conversas específicas: compartilhe um ou mais IDs de conversa, e o Operator cria Simulações que as recriam.
Casos extremos que você ainda não cobriu: peça ao Operator para procurar lacunas nas suas Simulações existentes e sugerir novas.
Um Procedimento novo ou atualizado: verifique se o Fin segue cada passo, incluindo os pontos onde deve fazer a transferência.
Um tópico: nomeie um tópico, como reembolsos, e o Operator cria Simulações cobrindo a variedade de cenários sobre os quais os clientes provavelmente vão entrar em contato.
Mais variações de um Eval existente: peça ao Operator para adicionar Simulações com clientes, tons ou idiomas diferentes.
Você pode dizer ao Operator quais devem ser as Simulações, as verificações de Simulação e as verificações de Transferência, ou deixar que ele decida. Se algo não estiver claro, como se deve adicionar Simulações a um Eval existente ou para qual equipe uma transferência deve ir, o Operator pergunta primeiro. Escolha uma opção, digite sua própria resposta em Something else ou clique em Skip para deixar o Operator decidir.
Dica: Quanto mais específica for sua solicitação, menos perguntas o Operator precisará fazer.
Exemplo de prompt: Crie um novo Eval chamado "Pedidos de reembolso" com 5 Simulações: um pedido de reembolso simples, um cliente perguntando sobre um reembolso fora do prazo, um cliente frustrado que foi cobrado duas vezes, um cliente perguntando em espanhol e um em que o Fin deve transferir para a equipe de Cobrança. Para adaptar, substitua o nome do Eval e os cenários pelo seu próprio tópico e casos.
Como revisar e salvar o que o Operator cria
O Operator não salva nada até que você revise. Novos Evals e Simulações aparecem no painel "changes pending" acima da caixa de mensagem, cada um marcado como "New". Clique em qualquer item para revisá-lo antes de salvar.
Quando estiver pronto, escolha onde salvar as mudanças:
Publicar no Fin Main: salva todas as mudanças pendentes nos seus Evals ao vivo imediatamente.
Salvar no rascunho da release: salva as mudanças em um rascunho de release existente, para que você possa testá-las junto com outras mudanças antes de entrarem no ar. Selecione um rascunho da lista ou clique em New release draft para criar um.
Para descartar as mudanças, clique no ícone de exclusão.
Como executar um Eval com o Operator
Para executar um Eval com o Operator, peça para ele executar o Eval, por exemplo: Execute o Eval Pedidos de reembolso. O Operator mostra os resultados conforme cada Simulação é executada.
Você não precisa do Operator para executar um Eval. Vá para Test > Evals e execute você mesmo. As execuções iniciadas pelo Operator também aparecem lá, para que você possa revisar todos os resultados em um só lugar.
Como ler os resultados que o Operator fornece
Quando todas as Simulações forem executadas, o Operator apresenta os resultados e os explica:
Uma tabela de resultados: o resultado geral de cada Simulação (Aprovado, Reprovado ou Erro) e as verificações individuais por trás dele, para que você possa ver por que ele ficou assim. Por exemplo, uma Simulação chamada "Exportação em massa do workspace" pode falhar porque a verificação de Transferência falhou (o Fin escalou quando não deveria), mesmo que a verificação de resposta do Fin tenha passado.
Um resumo: as contagens principais (3 aprovados, 1 reprovado, 2 com erro), seguidas por uma explicação em linguagem simples do que deu errado e por quê. Por exemplo, o Operator pode rastrear uma exportação falhada até uma regra de orientação que transfere para um colega sempre que a palavra "failure" aparece.
Como corrigir problemas com o Operator
Após analisar os resultados, o Operator pode recomendar melhorias, seja para seus Evals e Simulações ou para a configuração do Fin, e fazer essas mudanças para você. Por exemplo, quando uma Simulação falha por causa de uma regra de orientação, o Operator rastreia a falha até essa regra para que você veja o que corrigir. O Operator não aplica correções sozinho. Cada mudança que ele propõe aparece no painel "changes pending" para você revisar antes de salvar, conforme descrito em "Como revisar e salvar o que o Operator cria" acima.
Como agendar Evals com o Operator e Routines
Para executar Evals em uma programação regular, como toda segunda-feira de manhã, configure uma Routine no Operator. Você não pode agendar Evals pela página de Evals.
Para agendar um Eval:
Abra o Operator na navegação à esquerda e clique em Routines.
Em Configurar uma rotina, descreva o que deseja executar e quando. Por exemplo: "Execute o Eval Pedidos de reembolso toda segunda-feira às 9h e resuma os resultados."
O Operator cria o rascunho da Routine e o mostra em um painel à direita, com seu gatilho, programação e instruções. Se algo estiver faltando, como o horário ou o fuso horário, o Operator sugere um padrão e pede que você confirme ou altere.
Verifique os detalhes da Routine e clique em Aceitar para ativá-la, ou em Descartar para cancelá-la.
Cada vez que a Routine for executada, ela informa quantas Simulações passaram e falharam, quais falharam e por quê, e quaisquer correções recomendadas para o conteúdo, orientação ou Procedimentos do Fin.