Usa este artículo para configurar una Simulación: define el cliente simulado, controla los datos que Fin ve al inicio de la conversación, elige las verificaciones y la entrega que el juez LLM (modelo de lenguaje grande) usa para evaluar a Fin, o crea una Simulación a partir de una conversación real.
Cómo abrir el editor de Simulación
Para configurar una Simulación, ábrela y haz clic en Editar, o haz clic en Nueva simulación en una página de Eval. El editor tiene tres secciones: el cliente simulado, los datos que Fin ve y cómo el juez LLM evalúa a Fin. Cuando termines, haz clic en Guardar y luego en Ejecutar para probarla.
Cómo definir el cliente simulado
La sección Definir cliente simulado configura con quién hablará Fin.
Título (opcional): si no agregas uno, el nombre de la Simulación coincide con el primer mensaje del cliente.
Simulando como: el cliente con quien Fin habla, por ejemplo Test customer, y la marca, mostrada como All brands.
Canal: Chat o Email.
Hora de la simulación: una fecha y hora fija para que la Simulación use. Usa la zona horaria del cliente, o GMT (Greenwich Mean Time) si no se establece ninguna. Comienza como No establecido.
Primer mensaje del cliente (requerido): lo primero que dice el cliente simulado a Fin.
Instrucciones de seguimiento: lo que el cliente sabe, lo que compartirá si se le pregunta y cómo se comunica. Fin las usa para generar el resto del lado del cliente en la conversación, para una simulación realista de múltiples turnos.
Cómo elegir quién es el cliente simulado
Por defecto, cada Simulación se ejecuta como un Test customer. El Test customer pertenece a todas tus audiencias, por lo que Fin puede usar todo tu contenido en vivo, guías y automatizaciones. Eso es útil para verificar lo que Fin sabe, pero no muestra lo que experimentaría un cliente específico.
Para probar la segmentación de audiencia, simula un cliente real o lead de tu espacio de trabajo en su lugar. Fin entonces ve solo el contenido, guías, Procedimientos y conectores de datos para los que ese cliente califica, tal como lo haría en una conversación en vivo.
En el editor de Simulación, ve a Definir cliente simulado.
Junto a Simulando como, haz clic en Test customer y selecciona Cliente o lead.
Para reducir la lista, elige una audiencia del menú desplegable bajo el cuadro de búsqueda. Muestra Everyone por defecto y lista los users y leads actualmente en esa audiencia.
Busca por nombre, correo electrónico o ID de cliente, y selecciona a la persona con la que quieres que Fin hable.
Cuando la Simulación se ejecuta, usa los atributos, empresa y etiquetas de esa persona. Para probar un escenario específico, anula cualquiera de estos en Definir datos de Fin (opcional) > Valores iniciales de atributos. Todo lo que no configures usa los valores existentes del cliente.
Nota:
Las audiencias que usan atributos de conversación, o que filtran por marca, no pueden seleccionarse porque la membresía depende de una conversación que aún no ha ocurrido. Aún puedes elegir un cliente usando otra audiencia o buscando en todos.
La audiencia solo se usa para encontrar un cliente y no se guarda con la Simulación. Cada ejecución verifica a qué audiencias pertenece el cliente usando sus datos en ese momento, por lo que los resultados pueden cambiar.
Solo se pueden seleccionar users y leads. Los visitantes no están disponibles.
Si vuelves a Test customer (predeterminado), la segmentación de audiencia se desactiva para esa Simulación.
¿Cuánto tiempo puede durar una Simulación y cuántas puede contener un Eval?
Una Simulación termina después de hasta 6 respuestas de Fin, o antes si Fin resuelve la conversación, entrega o el cliente simulado termina la conversación. Cada Eval soporta hasta 50 Simulaciones. Para agregar más, elimina Simulaciones existentes o pon las Simulaciones extra en un nuevo Eval.
Cómo definir los datos que Fin ve en una Simulación
La sección opcional Definir datos de Fin controla los datos que Fin ve al inicio de la Simulación.
Valores iniciales de atributos: los valores de atributos que Fin ve al inicio de la conversación. Haz clic en Agregar atributo para establecer uno.
Respuestas de datos: en Simulaciones, los conectores de datos siempre devuelven su respuesta de prueba guardada, nunca datos en vivo, sin importar a quién estés simulando. Haz clic en Personalizar respuesta de conector para cambiar la respuesta de prueba solo para esta Simulación.
Cómo definir cómo el juez LLM evalúa a Fin
La sección Definir comportamiento del juez LLM define cómo se evalúan las respuestas de Fin. Tiene dos partes: verificaciones de Simulación y Entrega.
Cómo agregar una verificación de Simulación
Las verificaciones de Simulación describen qué debe decir o hacer Fin para aprobar, si es que debe hacerlo. Para agregar una, haz clic en Agregar y elige un tipo de verificación:
Respuesta de Fin: describe qué debe decir Fin durante la conversación. Separa cada respuesta esperada en su propio criterio de éxito.
Procedimiento iniciado: Fin inició un Procedimiento específico.
Procedimiento cambiado: Fin pasó de un Procedimiento a otro durante la conversación.
Habilidad: Fin usó una Habilidad específica.
Conector de datos: Fin llamó a un conector de datos específico.
Cómo establecer la entrega esperada
Entrega describe qué debe ser cierto al final de la conversación. Elige una de estas opciones:
Sin entrega: Fin no entregó a un equipo o flujo de trabajo.
Entregado a un equipo o compañero: Fin no pudo responder, o se aplicó la guía de entrega.
Entregado a un flujo de trabajo: la conversación no se simula después de la entrega.
Importante: Si una Simulación no tiene verificación de Entrega ni verificaciones de Simulación, se evalúa contra una verificación predeterminada de Sin entrega, y falla si Fin entrega. Esta predeterminada no se muestra en el editor, así que agrega una verificación de Entrega explícita a cada Simulación.
Después de configurar una Simulación, consulta el artículo Cómo ejecutar Evals y leer los resultados.
Cómo crear una Simulación a partir de una conversación real
Para crear una Simulación a partir de una conversación real con un cliente, copia un enlace a la conversación y pide a Operator que cree la Simulación. No tienes que escribir el escenario tú mismo.
Una Simulación creada a partir de una conversación real se llama reproducción. Una reproducción captura la conversación hasta una respuesta de Fin y congela los mensajes anteriores en su lugar. Cada vez que se ejecuta, Fin genera solo esa respuesta nuevamente, por lo que estás probando la respuesta que te importa, no una conversación que cambia en cada ejecución. Esto hace que las reproducciones sean la forma más rápida de convertir un error del mundo real en una prueba que puedes conservar.
Cómo copiar un enlace a una conversación de Fin
Para copiar un enlace a una conversación de Fin, abre la conversación en la lista de conversaciones de Fin y usa el menú de opciones en un mensaje.
En Fin, ve a Analizar > Conversaciones y abre la conversación que quieres probar.
Pasa el cursor sobre un mensaje en la conversación, luego haz clic en el menú de opciones (...) que aparece junto a él.
Haz clic en Copiar enlace.
Pega el enlace en un chat con Operator, como se describe en la siguiente sección.
Cómo crear una Simulación con Operator
Para crear una Simulación con Operator, pídele que cree una simulación para la conversación. Operator reproduce el mensaje inicial del cliente y propone la Simulación en el Eval que elijas.
Nota: Para crear Simulaciones con Operator, necesitas el complemento Pro.
En un chat con Operator, escribe Crear una simulación para esta conversación y agrega la conversación.
Responde las dos preguntas que Operator hace: ¿En qué eval debe ir la simulación? y ¿Cómo debe Fin terminar la conversación? Por ejemplo, elige Fin responde por sí mismo (sin entrega) si Fin debe resolver la conversación sin entregar.
Revisa la Simulación propuesta, luego haz clic en Publicar en Fin Main para agregarla al Eval.
Hasta que hagas clic en Publicar en Fin Main, la Simulación permanece como un cambio pendiente y no puede ejecutarse.
Cómo editar una Simulación de reproducción con Operator
Para editar una Simulación de reproducción, pídele a Operator que haga el cambio en el mismo chat, por ejemplo actualízala para entregar a un compañero. Operator propone la edición a las verificaciones de Simulación, y tú haces clic en Publicar en Fin Main para guardarla.
¿Qué incluye una Simulación de reproducción?
Después de hacer clic en Publicar en Fin Main, la Simulación de reproducción aparece en el Eval que elegiste, nombrada según el mensaje inicial del cliente. Ábrela desde el Eval para ver estas partes:
Contexto inicial de la conversación: los mensajes de la conversación fuente hasta el mensaje del cliente, con un marcador de posición donde aparece la única respuesta de Fin cuando se ejecuta la Simulación.
Ver conversación fuente: un enlace a la conversación original.
Definir cliente simulado: Simulando como, la marca, el Canal y la Hora de la simulación.
Instrucciones de seguimiento: instrucciones opcionales sobre lo que dice el cliente después de la primera respuesta de Fin. Agregarlas requiere al menos una verificación de Simulación, para que haya algo contra lo que evaluar a Fin.
Nota: Algunas partes de una Simulación de reproducción no pueden editarse, incluida la sección Definir cliente simulado. Provienen de la conversación fuente. Para cambiar lo que se evalúa en Fin, edita las verificaciones de Simulación, por ejemplo pidiendo a Operator que las actualice.
Cómo usar una reproducción para corregir la respuesta de Fin
Para corregir una respuesta de Fin con una reproducción, ejecútala, cambia la configuración de Fin y vuelve a ejecutarla hasta que pase:
Ejecuta la reproducción para ver cómo responde Fin con tu configuración actual.
Haz un cambio en el contenido, guía, Procedimiento o Habilidad detrás de la respuesta. Para probar el cambio antes de que se publique, hazlo en un Release.
Ejecuta la reproducción nuevamente y compara la nueva respuesta con ejecuciones anteriores, usando el menú desplegable de historial de ejecuciones en la Simulación.
Agrega verificaciones que definan qué significa "arreglado", como una verificación de respuesta de Fin o una verificación de Entrega, para obtener un aprobado o reprobado claro en lugar de un juicio subjetivo.
Conserva la reproducción una vez que pase. Ahora funciona como una prueba de regresión, así que vuelve a ejecutarla después de futuros cambios para asegurarte de que la corrección se mantenga.