Passar para o conteúdo principal

Simulações vs. Testes em Lote vs. Previews

Saiba quando usar as três ferramentas de teste do Fin — Simulações, Testes em Lote e Previews.

Este artigo explica quando usar as três ferramentas de teste do Fin — Simulações, Testes em Lote e Previews.


Referência rápida: qual ferramenta faz o quê

Simulações

Batch tests

Previews

O que é

Teste automatizado de ponta a ponta com IA de um único Procedure. A IA atua como um cliente simulado e avalia o resultado com base nos critérios de sucesso que você define.

Uma ferramenta de teste de perguntas e respostas para validar as respostas do Fin em até 50 perguntas ao mesmo tempo. Testa como o Fin responde em conteúdo, orientação, users, idiomas e automações.

Um painel de teste manual e interativo disponível em todas as áreas de treinamento do Fin. Você digita mensagens e vê a resposta do Fin e o registro de eventos em tempo real.

Melhor para

Validar a lógica complexa do Procedure de ponta a ponta antes de entrar no ar. Detectar regressões após atualizações do Procedure. Testar casos extremos e caminhos ramificados.

Verificar a cobertura de conteúdo em muitas perguntas ao mesmo tempo. Diagnosticar lacunas em conhecimento, orientação ou automações. QA pré-lançamento para públicos, marcas e idiomas.

Verificações manuais rápidas durante a construção. Verificar como uma mudança específica — em conteúdo, orientação, atributos, escalonamento ou um Procedure — afeta a resposta do Fin no momento.

Funciona com

Apenas Procedures.

Todos os clientes usando Fin — seja usando Procedures, Tasks ou apenas conteúdo de conhecimento.

Todas as áreas de treinamento do Fin: Content, Guidance, Attributes, Escalation, Procedures e Deploy.

Modo de teste

Automatizado — IA gera o lado do cliente da conversa e avalia o resultado com julgamento de aprovação/reprovação.

Automatizado — Fin gera uma resposta para cada pergunta. Você revisa e avalia as respostas manualmente (Bom / Aceitável / Ruim).

Manual — você digita as mensagens e observa a resposta do Fin e o registro de eventos.

Cria uma conversa real?

Não — roda inteiramente em segundo plano. Nenhuma conversa de inbox é criada.

Não — apenas simulação. Não cria conversas de inbox nem afeta dados de clientes.

Sim — conversas de Preview aparecem no seu inbox, mas são excluídas dos relatórios.

Chama APIs ao vivo?

Não — não chama APIs externas ao vivo (ex: Shopify, Stripe). Testa apenas a lógica.

Não — conectores de dados usam cargas de teste/amostra configuradas. Sem chamadas de API ao vivo.

Sim — pode acessar dados reais de users e integrações ao vivo ao testar como um user ou lead específico.

Salva e executa novamente

Sim — simulações são salvas e podem ser executadas novamente sempre que o Procedure for atualizado. Suporta Executar tudo.

Sim — grupos de teste (até 50 perguntas cada) podem ser salvos, executados novamente e compartilhados entre colegas.

Não — conversas manuais únicas. Não são salvas nem podem ser executadas novamente.

Julgamento de aprovação/reprovação

Sim — IA avalia a conversa com base nos critérios de sucesso e atribui Aprovação ou Reprovação com justificativa completa.

Não — você avalia manualmente cada resposta como Boa, Aceitável ou Ruim e escolhe a causa raiz.

Não — sem julgamento automatizado. Você mesmo avalia o resultado.

Limites de uso

Sim — limite mensal de execuções baseado no volume de conversas do workspace (50–2.500/mês). Incluído com Procedures sem custo extra.

Sem custo. Até 50 perguntas por grupo de teste.

Sem limites.

Disponibilidade

Apenas Procedures — requer acesso gerenciado à disponibilidade.

Geralmente disponível para todos os clientes Fin com assento completo e permissão All conversations.

Geralmente disponível para todos os clientes Fin.


Quando usar cada ferramenta

Use Simulações quando

  • Você precisa validar um Procedure de ponta a ponta antes de colocá-lo no ar.

  • Você quer testes automatizados e repetíveis que detectem regressões após cada atualização.

  • Seu Procedure tem lógica ramificada, Conditions ou sub-procedures — e você precisa de um caso de teste separado para cada caminho.

  • Você quer que a IA julgue o resultado com base nos critérios de sucesso definidos (resposta do Fin, valores de atributos, chamadas de data connector, resultado da instrução).

  • Você precisa testar lógica sensível ao tempo (ex: janelas de reembolso) controlando o tempo da simulação e os valores dos dados.

Use Batch tests quando

  • Você quer validar as respostas do Fin em um amplo conjunto de perguntas — não apenas um cenário.

  • Você está fazendo QA pré-lançamento em conteúdo, orientação, públicos, idiomas ou marcas.

  • Você quer diagnosticar lacunas de conteúdo vendo de quais fontes o Fin puxa para cada resposta.

  • Você quer testar perguntas geradas a partir de conversas reais passadas ou tópicos de IA.

  • Você precisa de um relatório CSV para baixar e compartilhar resultados com sua equipe ou líderes seniores.

Use Previews quando

  • Você está construindo ativamente e quer fazer verificações rápidas de uma mudança imediatamente — em conteúdo, orientação, um atributo, uma regra de escalonamento ou um Procedure.

  • Você quer percorrer manualmente uma conversa como um user, público ou em um idioma específico.

  • Você precisa ver o registro de eventos do Fin para entender exatamente o que foi aplicado (personality, guidance, tasks, content sources).

  • Você quer testar o Fin Vision enviando uma imagem ou captura de tela.

  • Você está validando um fluxo de Procedure e quer ver a experiência completa do inbox do cliente e do colega (incluindo automações downstream).


Perguntas frequentes

Qual a diferença entre Simulações e Previews?

  • Previews são manuais e interativos: você digita as mensagens e observa o Fin responder em tempo real. São ótimos para verificações rápidas durante a construção.

  • Simulações são automatizadas: a IA atua como cliente, executa a conversa completa e julga o resultado com base nos critérios de sucesso que você definiu.

  • Simulações não criam conversas de inbox; Preview sim. Use Simulações quando precisar validar a lógica do Procedure em escala. Use Preview para testes manuais em contexto.

Qual a diferença entre Simulações e Batch tests?

  • Batch tests verificam como o Fin responde a um amplo conjunto de perguntas — testando cobertura de conteúdo, orientação e automações em muitos cenários ao mesmo tempo. Você avalia as respostas manualmente.

  • Simulações testam um único Procedure de ponta a ponta com julgamento automatizado da IA.

  • Batch tests funcionam com todas as configurações do Fin. Simulações são exclusivas para Procedures.

Qual a diferença entre Batch tests e Previews?

  • Batch tests são execuções estruturadas e repetíveis de QA com até 50 perguntas — úteis para verificações pré-lançamento e diagnóstico de lacunas de conteúdo.

  • Previews são não estruturados e manuais — uma conversa por vez, úteis para feedback instantâneo durante a construção.

  • Os resultados do Batch test são salvos e podem ser exportados para CSV. As conversas de Preview aparecem no seu inbox, mas não são salvas como execuções de teste.

Simulações chamam APIs ao vivo ou afetam dados reais?

Não. Simulações não chamam APIs externas ao vivo (como Shopify ou Stripe) e não afetam dados reais. Testam apenas a lógica. Se precisar testar com chamadas reais de API, use Preview e selecione um user específico com dados reais no sistema externo.

Serei cobrado por Simulações ou Batch tests?

Simulações estão incluídas com Procedures sem custo extra. Batch tests também são gratuitos (você não será cobrado pelas respostas geradas pelo Batch test).

Nota: Simulações têm um limite mensal de execuções (50–2.500 por mês dependendo do volume de conversas), que é reiniciado no primeiro dia de cada mês.

Posso usar Batch tests para testar um Procedure?

Batch tests mostram se um Procedure teria sido acionado para uma determinada pergunta, mas não executam o Procedure nem avaliam sua lógica de ponta a ponta. Para validação completa do Procedure (incluindo ramificações, chamadas de data connector e resultados de instrução) use Simulações.

Qual ferramenta de teste devo usar antes de entrar no ar?

Use os três em combinação: Preview para verificações manuais rápidas durante a construção; Simulações para validar a lógica do Procedure de ponta a ponta com resultados automatizados de aprovação/reprovação; Batch tests para confirmar as respostas do Fin em um amplo conjunto de perguntas reais de clientes.

É altamente recomendável executar Simulações antes de cada lançamento de Procedure.


Fatos importantes para lembrar

  • Simulações são exclusivas para Procedures. Não podem ser usadas com Tasks, Workflows ou testes gerais de conteúdo.

  • Batch tests funcionam para todos os clientes Fin — seja usando Procedures, Tasks ou apenas conteúdo de conhecimento.

  • Conversas de Preview aparecem no inbox, mas são excluídas dos relatórios.

  • Apenas Preview pode chamar APIs ao vivo. Simulações e Batch tests são ambientes seguros e isolados.

  • Os limites de execução de Simulações são por workspace, não por colega, e são reiniciados mensalmente.

  • As avaliações de respostas no Batch test não treinam o Fin — são apenas para revisão humana e análise da causa raiz.

  • Nas Simulações, se um teste passa mas os critérios de sucesso são muito rígidos (ex: exigir uma pergunta específica que o Fin encontrou), o teste ainda pode falhar. Foque os critérios de sucesso nos resultados, não nos passos intermediários.

Respondeu à sua pergunta?