Use este artigo para configurar uma Simulação: defina o cliente simulado, controle os dados que Fin vê no início da conversa, escolha as verificações e o handoff que o juiz LLM (modelo de linguagem grande) usa para avaliar Fin, ou crie uma Simulação a partir de uma conversa real.
Como abrir o editor de Simulação
Para configurar uma Simulação, abra-a e clique em Editar, ou clique em Nova simulação em uma página de Eval. O editor tem três seções: o cliente simulado, os dados que Fin vê e como o juiz LLM avalia Fin. Quando terminar, clique em Salvar e depois em Executar para testar.
Como definir o cliente simulado
A seção Definir cliente simulado configura com quem Fin estará conversando.
Título (opcional): se você não adicionar um, o nome da Simulação corresponde à primeira mensagem do cliente.
Simulando como: o cliente com quem Fin conversa, por exemplo Test customer, e a marca, mostrada como All brands.
Canal: Chat ou Email.
Hora da simulação: uma data e hora fixas para a Simulação usar. Usa o fuso horário do cliente ou GMT (Greenwich Mean Time) se nenhum estiver definido. Começa como Não definido.
Primeira mensagem do cliente (obrigatório): a primeira coisa que o cliente simulado diz para Fin.
Instruções de acompanhamento: o que o cliente sabe, o que compartilhará se perguntado e como se comunica. Fin usa isso para gerar o restante do lado do cliente na conversa, para uma simulação realista de múltiplas interações.
Como escolher quem é o cliente simulado
Por padrão, toda Simulação roda como um Test customer. O Test customer pertence a todos os seus públicos, então Fin pode usar todo o seu conteúdo ao vivo, orientações e automações. Isso é útil para verificar o que Fin sabe, mas não mostra o que um cliente específico experimentaria.
Para testar o direcionamento de público, simule um cliente real ou lead do seu workspace. Fin então vê apenas o conteúdo, orientações, Procedimentos e conectores de dados para os quais esse cliente se qualifica, exatamente como em uma conversa ao vivo.
No editor de Simulação, vá para Definir cliente simulado.
Ao lado de Simulando como, clique em Test customer e selecione Customer or lead.
Para restringir a lista, escolha um público no menu suspenso abaixo da caixa de busca. Mostra Everyone por padrão e lista os users e leads atualmente nesse público.
Pesquise por nome, email ou ID do cliente e selecione a pessoa com quem você quer que Fin converse.
Quando a Simulação roda, ela usa os atributos, empresa e tags dessa pessoa. Para testar um cenário específico, substitua qualquer um deles em Definir dados do Fin (opcional) > Valores iniciais de atributos. Tudo que você não definir usa os valores existentes do cliente.
Nota:
Públicos que usam atributos de conversa ou que filtram por marca não podem ser selecionados, porque a associação depende de uma conversa que ainda não aconteceu. Você ainda pode escolher um cliente usando outro público ou pesquisando em todos.
O público é usado apenas para encontrar um cliente e não é salvo com a Simulação. Cada execução verifica a quais públicos o cliente pertence usando seus dados naquele momento, então os resultados podem mudar.
Apenas users e leads podem ser selecionados. Visitantes não estão disponíveis.
Se você voltar para Test customer (padrão), o direcionamento de público é desativado para essa Simulação.
Quanto tempo uma Simulação pode durar e quantas uma Eval pode conter?
Uma Simulação termina após até 6 respostas do Fin, ou antes se Fin resolver a conversa, fizer handoff ou o cliente simulado encerrar a conversa. Cada Eval suporta até 50 Simulações. Para adicionar mais, exclua Simulações existentes ou coloque as extras em uma nova Eval.
Como definir os dados que Fin vê em uma Simulação
A seção opcional Definir dados do Fin controla os dados que Fin vê no início da Simulação.
Valores iniciais de atributos: os valores de atributos que Fin vê no início da conversa. Clique em Adicionar atributo para definir um.
Respostas de dados: em Simulações, conectores de dados sempre retornam sua resposta de teste salva, nunca dados ao vivo, independentemente de quem você está simulando. Clique em Personalizar resposta do conector para alterar a resposta de teste apenas para esta Simulação.
Como definir como o juiz LLM avalia Fin
A seção Definir comportamento do juiz LLM define como as respostas do Fin são avaliadas. Ela tem duas partes: verificações da Simulação e Handoff.
Como adicionar uma verificação de Simulação
Verificações de Simulação descrevem o que Fin deve dizer ou fazer para passar, se for o caso. Para adicionar uma, clique em Adicionar e escolha um tipo de verificação:
Resposta do Fin: descreva o que Fin deve dizer durante a conversa. Separe cada resposta esperada em seu próprio critério de sucesso.
Procedimento iniciado: Fin iniciou um Procedimento específico.
Procedimento alterado: Fin mudou de um Procedimento para outro durante a conversa.
Habilidade: Fin usou uma Habilidade específica.
Conector de dados: Fin chamou um conector de dados específico.
Como definir o handoff esperado
Handoff descreve o que deve ser verdade ao final da conversa. Escolha uma destas opções:
Sem handoff: Fin não fez handoff para uma equipe ou fluxo de trabalho.
Fez handoff para equipe ou colega: Fin não conseguiu responder ou a orientação de handoff foi aplicada.
Fez handoff para um fluxo de trabalho: a conversa não é simulada após o handoff.
Importante: Se uma Simulação não tem verificação de Handoff nem verificações de Simulação, ela é avaliada contra uma verificação padrão Sem handoff e falha se Fin fizer handoff. Essa padrão não aparece no editor, então adicione uma verificação explícita de Handoff para cada Simulação.
Depois de configurar uma Simulação, veja o artigo Como executar Evals e ler os resultados.
Como criar uma Simulação a partir de uma conversa real
Para criar uma Simulação a partir de uma conversa real com um cliente, copie um link da conversa e peça para o Operator criar a Simulação. Você não precisa digitar o cenário.
Uma Simulação criada a partir de uma conversa real é chamada de replay. Um replay captura a conversa até uma resposta do Fin e congela as mensagens anteriores. Cada vez que roda, Fin gera apenas essa resposta, então você testa a resposta que importa, não uma conversa que muda a cada execução. Isso torna os replays a forma mais rápida de transformar um erro real em um teste que você pode manter.
Como copiar um link para uma conversa do Fin
Para copiar um link para uma conversa do Fin, abra a conversa na lista de conversas do Fin e use o menu de opções em uma mensagem.
No Fin, vá para Analisar > Conversas e abra a conversa que deseja testar.
Passe o mouse sobre uma mensagem na conversa e clique no menu de opções (...) que aparece ao lado.
Clique em Copiar link.
Cole o link em um chat com o Operator, conforme descrito na próxima seção.
Como criar uma Simulação com o Operator
Para criar uma Simulação com o Operator, peça para ele criar uma simulação para a conversa. O Operator reproduz a mensagem inicial do cliente e propõe a Simulação na Eval que você escolher.
Nota: Para criar Simulações com o Operator, você precisa do add-on Pro.
Em um chat com o Operator, escreva Criar uma simulação para esta conversa e adicione a conversa.
Responda às duas perguntas que o Operator faz: Em qual eval a simulação deve ir? e Como Fin deve encerrar a conversa? Por exemplo, escolha Fin responde sozinho (sem handoff) se Fin deve resolver a conversa sem fazer handoff.
Revise a Simulação proposta e clique em Publicar para Fin Main para adicioná-la à Eval.
Até você clicar em Publicar para Fin Main, a Simulação fica como uma alteração pendente e não pode ser executada.
Como editar uma Simulação replay com o Operator
Para editar uma Simulação replay, peça para o Operator fazer a alteração no mesmo chat, por exemplo atualize para fazer handoff para um colega. O Operator propõe a edição nas verificações da Simulação, e você clica em Publicar para Fin Main para salvar.
O que uma Simulação replay inclui?
Depois de clicar em Publicar para Fin Main, a Simulação replay aparece na Eval que você escolheu, nomeada pela mensagem inicial do cliente. Abra-a na Eval para ver estas partes:
Contexto inicial da conversa: as mensagens da conversa fonte até a mensagem do cliente, com um espaço reservado onde a única resposta do Fin aparece quando a Simulação roda.
Ver conversa fonte: um link para a conversa original.
Definir cliente simulado: Simulando como, a marca, o Canal e a Hora da simulação.
Instruções de acompanhamento: instruções opcionais para o que o cliente diz após a primeira resposta do Fin. Adicioná-las requer pelo menos uma verificação de Simulação, para que haja algo contra o qual Fin seja avaliado.
Nota: Algumas partes de uma Simulação replay não podem ser editadas, incluindo a seção Definir cliente simulado. Elas vêm da conversa fonte. Para mudar o que Fin é avaliado, edite as verificações da Simulação, por exemplo, pedindo para o Operator atualizá-las.
Como usar um replay para corrigir a resposta do Fin
Para corrigir uma resposta do Fin com um replay, execute-o, altere a configuração do Fin e execute novamente até passar:
Execute o replay para ver como Fin responde com sua configuração atual.
Faça uma alteração no conteúdo, orientação, Procedimento ou Habilidade por trás da resposta. Para testar a alteração antes de ir ao vivo, faça-a em uma Release.
Execute o replay novamente e compare a nova resposta com execuções anteriores, usando o menu suspenso do histórico de execuções na Simulação.
Adicione verificações que definam o que significa "corrigido", como uma verificação de resposta do Fin ou uma verificação de Handoff, para obter uma aprovação ou reprovação clara em vez de um julgamento subjetivo.
Mantenha o replay depois que passar. Ele agora funciona como um teste de regressão, então execute-o novamente após mudanças futuras para garantir que a correção se mantenha.