Usa Evals para construir conversaciones de prueba realistas, ejecutarlas contra tu configuración de Fin y obtener resultados automáticos de aprobado/reprobado antes de que cualquier cambio llegue a un cliente real. Ejecuta las mismas pruebas cada vez que hagas un cambio para verificar que Fin siga comportándose como esperas.
Los Evals se basan en dos conceptos:
Evals son grupos temáticos de pruebas, como “Solicitudes de reembolso”, “Escenarios de escalación” o “Tono y amabilidad”.
Simulations son las pruebas individuales dentro de un Eval. Cada una es una conversación realista de múltiples turnos entre un cliente simulado y Fin, junto con las verificaciones contra las que se evalúa el comportamiento de Fin.
Cuando ejecutas un Eval, cada Simulación dentro de él se ejecuta automáticamente y obtiene un resultado de aprobado/reprobado. Un juez LLM (modelo de lenguaje grande) puntúa cada Simulación según las verificaciones que establezcas.
Nota: Para crear, editar o ejecutar Evals, necesitas Can view configuration and propose changes in a draft release o Can view configuration and publish changes directly to main (individually or in a release) bajo Fin AI Agent & Automation. Los compañeros con Can view configuration pueden ver los Evals y sus resultados.
Comienza con Evals:
Cómo gestionar tus Evals: encuentra, filtra, etiqueta y crea Evals, e importa Simulations desde un archivo CSV (comma-separated values).
Configura Simulations para Evals: elige el cliente simulado, los datos que Fin ve y las verificaciones en las que se puntúa a Fin, o crea una Simulación a partir de una conversación real.
Cómo ejecutar Evals y leer los resultados: ejecuta Simulations, entiende cada resultado y prueba en otros idiomas.
Cómo añadir una Scorecard a un Eval: puntúa la calidad de las respuestas de Fin, así como aprobado o reprobado.
Crea y ejecuta Evals con Operator: permite que Operator cree, ejecute, analice y programe Evals por ti.
Para añadir una Scorecard a un Eval, abre la configuración del Eval y elige una del menú desplegable Quality evaluation, o haz clic en Create new scorecard.
¿Cuándo deberías usar Evals?
Usa un Eval siempre que quieras tener confianza en cómo se comporta Fin:
Antes de enviar un cambio: en contenido, guías, Procedures o cualquier otra cosa en la configuración de Fin.
Mientras trabajas en un Release: para probar los cambios en tu Release juntos, antes de que se publiquen.
Después de una corrección: para confirmar que resolviste el problema que querías solucionar.
De forma continua: para volver a ejecutar tus Evals más importantes como una suite de regresión y detectar cambios inesperados antes que los clientes.
Antes de lanzar Fin: para verificar que tu configuración funciona como esperas antes de que los clientes hablen con Fin por primera vez.
Cómo probar un Release con Evals
Cuando trabajas en cambios para Fin en un Release, ejecuta tus Evals contra esos cambios antes de que se publiquen. Fin responde usando la versión del Release de tu contenido, guías, Procedures y Skills, para que puedas ver cómo funcionan tus cambios sin afectar a ningún cliente.
Abre tu Release y ve a la pestaña Evals.
Para crear un Eval solo para este Release, haz clic en Add an Eval, luego en New eval. Aparece bajo Added in this release.
Para buscar regresiones, haz clic en Run eval en cualquiera de tus Evals existentes. La pestaña muestra cuántos de tus Evals se han ejecutado contra el Release (por ejemplo, 3/5 run).
Cuando pruebas un Release con Evals, ten en cuenta estos puntos:
Los nuevos Evals y Simulations que crees dentro de un Release no aparecen en tus Evals en vivo hasta que el Release se fusiona.
Los resultados se mantienen por separado para cada Release. Las ejecuciones dentro de un Release no cambian los resultados que ves en Main Fin.
Si cambias el Release después de ejecutar un Eval, los resultados se marcan como desactualizados. Ejecuta el Eval de nuevo.
Dentro de un Release, no puedes renombrar o eliminar Evals existentes, ni editar una Scorecard.
Las etiquetas no se guardan en un Release. Los cambios de etiquetas que hagas dentro de un Release se aplican inmediatamente a tus Evals en vivo.
No es obligatorio ejecutar Evals para fusionar un Release, pero lo recomendamos encarecidamente.
¿Qué herramienta de prueba debería usar?
Usa esta tabla para elegir entre Evals, Procedure Simulations y Batch Test.
| Evals | Procedure Simulations | Batch Test |
Tests | Toda la configuración de Fin, de principio a fin | Una Procedure por sí sola | Preguntas individuales |
Tipo de conversación | De múltiples turnos | De múltiples turnos, dentro de una Procedure | De un solo turno |
Puntuación | Automática, por el juez LLM, más Scorecards opcionales | Automática, contra criterios de éxito y resultado | Manual (Bueno, Aceptable o Deficiente) |
Mejor para | Pruebas de regresión y recorridos completos del cliente | Construcción y verificación de una Procedure | Verificaciones informativas rápidas |
Usa Procedure Simulations mientras construyes una Procedure, para verificar que se comporte correctamente por sí sola.
Usa Evals una vez que esa Procedure esté activa, para probar la conversación completa, incluyendo cómo funciona con tu contenido, guías, conectores de datos y transferencias.
Si usas Batch Test hoy, comienza a construir escenarios equivalentes como Evals. Puedes exportar tus preguntas de Batch Test a un archivo CSV e importarlas como Simulations.
Nota: Desde el 5 de noviembre de 2026, los nuevos espacios de trabajo no verán Batch Test en la navegación izquierda. Si ya usas Batch Test, seguirá disponible.
¿Cuáles son los límites de uso de Simulations?
Hay un límite mensual en la cantidad de Simulations que puedes ejecutar en Evals. El límite se aplica a todo tu espacio de trabajo y se reinicia el primer día de cada mes calendario. Tu asignación se basa en las conversaciones de tu espacio de trabajo en los últimos 30 días y se verifica cada mes.
Volumen de conversación | Simulations por mes |
Menos de 1K | 250 |
1K–15K | 1,000 |
15K–100K | 1,750 |
100K–1M | 5,000 |
1M+ | 12,500 |
Cada ejecución de Simulación cuenta desde que comienza, incluyendo ejecuciones que detienes a mitad de camino. Si alcanzas tu límite, verás “Has alcanzado tu límite mensual de simulaciones” y no podrás ejecutar más Simulations hasta el próximo mes. Si haces clic en Run all cerca de tu límite, se ejecutan las Simulations que caben en tu asignación y el resto no se inicia.
¿Cuáles son las limitaciones actuales de Evals?
Hasta 50 Simulations por Eval, y hasta 50 filas por importación CSV.
Las etiquetas aplican solo a Evals. No puedes etiquetar Simulations individuales ni ejecutar todos los Evals con una etiqueta de una vez.
No hay notificaciones. No recibirás notificaciones cuando termine una ejecución.
Aún no hay anotación de revisores. No hay forma de registrar si un revisor está de acuerdo o en desacuerdo con un resultado.
Aún no hay plantillas preconstruidas. Categorías comunes de prueba, como inyección de prompt, no tienen un punto de partida listo.
Workflows no se simulan. Una verificación de transferencia puede confirmar que Fin pasa una conversación a un workflow, pero los Evals no simulan lo que el workflow hace después.
Preguntas frecuentes sobre Evals
¿Necesito Operator para usar Evals?
¿Necesito Operator para usar Evals?
No necesitas Operator para usar Evals: todos los clientes de Fin pueden crear y ejecutar Evals desde Fin AI Agent > Test > Evals. Operator es parte del complemento Pro y puede crear, ejecutar, analizar y programar Evals por ti.
¿Cuánto tarda en ejecutarse un Eval?
¿Cuánto tarda en ejecutarse un Eval?
Un Eval tarda minutos en ejecutarse, no segundos, porque cada Simulación es una conversación completa de múltiples turnos seguida de una puntuación. Las ejecuciones continúan en segundo plano, así que puedes salir de la página y volver para ver los resultados.
¿Por qué falló mi Simulación si la respuesta de Fin parecía correcta?
¿Por qué falló mi Simulación si la respuesta de Fin parecía correcta?
Una Simulación puede fallar incluso cuando la respuesta de Fin parece correcta si no configuraste una verificación de transferencia. En ese caso, la Simulación se puntúa contra una verificación predeterminada No handoff, por lo que falla si Fin transfiere.
¿Puedo programar la ejecución automática de Evals?
¿Puedo programar la ejecución automática de Evals?
Puedes programar la ejecución automática de Evals con una rutina de Operator. El artículo Crear y ejecutar Evals con Operator explica cómo.