Usa este artículo para encontrar, filtrar y etiquetar tus Evals, crear un nuevo Eval, organizar tus Evals, importar Simulations desde un archivo CSV (comma-separated values), añadir una Scorecard y ver cómo Fin está funcionando en tus Evals.
¿Qué es la página de Evals?
La página de Evals lista cada Eval en tu espacio de trabajo, para que puedas ver cómo se desempeñó cada grupo de pruebas y ejecutarlas de nuevo. Un Eval es un grupo temático de pruebas, y cada prueba dentro se llama Simulation. Para abrir la página, ve a Test > Evals.
La tabla de Evals tiene estas columnas:
Nombre del Eval: el nombre del Eval, con un botón de ejecución al lado.
Resultado: cómo se desempeñó el Eval en su última ejecución, por ejemplo 4/6 Aprobado.
Etiquetas: cualquier etiqueta adjunta al Eval.
Fecha de última ejecución: la fecha en que el Eval se ejecutó por última vez.
Última ejecución por: quién ejecutó el Eval por última vez.
Última actualización: cuándo se cambió el Eval por última vez.
Creado: cuándo se creó el Eval.
Cómo organizar tus Evals
Para organizar tus Evals, agrupa Simulations en Evals según el tema que tenga sentido para tu negocio. Muchos equipos comienzan con lo que aún no funciona y luego amplían desde ahí. Los puntos de partida comunes incluyen:
Problemas conocidos: conversaciones donde Fin dio una respuesta incorrecta, incompleta o poco útil. Recrea cada una como una Simulation, corrige la causa y ejecútala de nuevo para confirmar la solución.
Escenarios de escalación: situaciones donde Fin debería (o no debería) pasar la conversación a un compañero.
Escenarios por tema: un tema, como solicitudes de reembolso, probado en varias variaciones. Tus 10 o 20 temas principales por volumen de conversación son un buen punto de partida.
Escenarios de comportamiento: verificaciones para que Fin mantenga el tono y la marca en diferentes situaciones, sin importar el tema.
Con el tiempo, crea uno o varios Evals como un "conjunto dorado" que cubra las conversaciones que más te importan. Vuelve a ejecutar el conjunto dorado regularmente, por ejemplo semanalmente o cada vez que cambies la configuración de Fin, para asegurarte de que tus escenarios más importantes sigan funcionando.
Cómo encontrar un Eval por nombre, resultado o etiqueta
Para encontrar un Eval por nombre, escribe en el cuadro Buscar evals en la parte superior de la página de Evals. Para reducir la lista, haz clic en Añadir filtro y elige Resultado o Etiqueta.
Cómo filtrar Evals por resultado
Ve a Test > Evals.
Haz clic en Añadir filtro, luego haz clic en Resultado.
Selecciona uno o más resultados: No ejecutado, Ejecutando, En cola, Aprobado, Parcialmente aprobado, Fallido, Cancelado o Inprocesable.
Cómo crear un nuevo Eval
Para crear un Eval, elige si construirlo manualmente o importar una lista de escenarios de clientes desde un archivo CSV.
Ve a Test > Evals.
Haz clic en Nuevo eval.
Elige Crear manualmente para construir tus Simulations tú mismo, o Subir un CSV para importar una lista de escenarios de clientes.
Ponle al Eval un nombre claro y descriptivo de hasta 250 caracteres, para que tú y tus compañeros puedan saber qué cubre cuando lo ejecutes de nuevo más tarde.
Cada Eval puede contener hasta 50 Simulations. Para importar desde un archivo CSV, consulta "Cómo importar Simulations desde un archivo CSV" abajo. Para configurar las Simulations dentro de un Eval, consulta el artículo Configurar Simulations para Evals.
Cómo importar Simulations desde un archivo CSV
Para importar Simulations desde un archivo CSV, súbelo desde la página de Evals o desde dentro de un Eval. Cada fila se convierte en una Simulation, y revisas cada coincidencia de columna antes de guardar. Para importar, necesitas Puede ver configuración y proponer cambios en un lanzamiento en borrador o Puede ver configuración y publicar cambios directamente en main (individualmente o en un lanzamiento) bajo Fin AI Agent & Automation.
Para importar en un nuevo Eval, ve a Test > Evals, haz clic en Nuevo eval y selecciona Subir un CSV. Para añadir Simulations a un Eval que ya tienes, ábrelo, selecciona Importar CSV en el menú de opciones (...) y luego elige ese Eval bajo Importar a.
¿Qué puede incluir un archivo CSV para Simulations?
Una importación CSV puede llenar 5 campos de Simulation. Solo se requiere el mensaje de apertura.
Mensaje de apertura (requerido): lo primero que dice el cliente simulado a Fin.
Instrucciones de seguimiento: lo que el cliente sabe, lo que comparte con Fin si se le pregunta y cómo se comunica.
Canal: el canal en el que escribe el cliente simulado.
Transferencia: si Fin debe transferir la conversación: ninguna, a un equipo o a un flujo de trabajo.
Respuesta esperada: lo que Fin debe decir o hacer para aprobar. Cada respuesta esperada se convierte en una verificación de respuesta de Fin. Para añadir varias respuestas esperadas para una Simulation, pon cada una en su propia línea en la misma celda.
Para comenzar con un archivo listo, haz clic en Descargar plantilla en el diálogo Subir un archivo CSV. La plantilla tiene una columna para cada uno de los 5 campos. Los encabezados de columna no necesitan coincidir exactamente con la plantilla. Nombres comunes como question, prompt, persona, outcome o ground truth se reconocen automáticamente. Archivos separados por comas, punto y coma o tabulaciones funcionan todos.
¿Cuáles son los límites de importación CSV?
Límite | Valor |
Filas por archivo y por Eval | 50 |
Tamaño del archivo | 10 MB |
Caracteres por respuesta esperada | 1,000 |
Campos de simulación para coincidir | 5 |
Cómo subir un archivo CSV y hacer coincidir columnas con campos de simulación
En el diálogo Subir un archivo CSV, arrastra tu archivo CSV o haz clic en Elegir archivo. El archivo se lee en tu navegador y se muestra como una tabla, con el conteo de filas y columnas, antes de guardar nada. Para usar un archivo diferente, haz clic en Reemplazar archivo.
Revisa la tabla y luego haz clic en Continuar.
En el paso Hacer coincidir las columnas, verifica el campo de simulación asignado a cada columna y cambia los que estén incorrectos, o haz clic en Restablecer coincidencias para empezar de nuevo.
Junto a Importar a, elige Nueva evaluación e ingresa un nombre, o selecciona una evaluación existente para agregar las simulaciones.
Cada campo de simulación se asigna a una columna, y las columnas que no uses se listan bajo No usadas y se ignoran. Si una respuesta esperada supera los 1,000 caracteres, se te pregunta qué hacer: Omitirlas (por defecto) importa la fila sin esa respuesta, Cortar a 1,000 caracteres conserva el inicio de la respuesta, y Omitir estas filas excluye toda la fila.
Cómo corregir valores de Canal y Transferencia sin editar tu archivo CSV
Si un valor de Canal o Transferencia no es reconocido por Fin, como WhatsApp o Sí, aparece una advertencia en ese campo.
Selecciona la advertencia en el campo Canal o Transferencia.
Elige qué significa cada valor no reconocido.
Haz clic en Aplicar.
También puedes elegir Omitir filas para excluir esas filas de la importación.
Cómo previsualizar e importar simulaciones desde un archivo CSV
Haz clic en Previsualizar simulaciones para ver cada fila como se ejecutará, incluyendo el primer mensaje, instrucciones de seguimiento, verificaciones de respuesta de Fin y transferencia.
Revisa el conteo de filas en la parte inferior del diálogo. Muestra cuántas filas se importarán (por ejemplo, 9 de 10 filas) y cuáles quedan fuera.
Haz clic en Importar.
Después de la importación, una confirmación muestra cuántas simulaciones se crearon. Cada fila aparece en la evaluación como una simulación nombrada según su mensaje inicial, lista para que hagas clic en Ejecutar todo. Las simulaciones importadas usan el Cliente de prueba y todas las marcas, así que abre una simulación para elegir un cliente específico. Las etiquetas se agregan a la evaluación, no al archivo CSV. Cuando importas dentro de una versión, las simulaciones se agregan a esa versión.
¿Cuándo no puedes importar simulaciones desde un archivo CSV?
Ninguna columna está asignada a Mensaje inicial, o ninguna fila tiene uno.
La nueva evaluación no tiene nombre, o el nombre ya está en uso.
Tu archivo tiene más de 50 filas.
Si tus filas harían que una evaluación existente supere las 50 simulaciones, verás cuántas aún caben y podrás seleccionar Importar las primeras [número] para importar solo esas. Si alguna fila es rechazada al importar, no se guarda nada. Cada fila problemática se lista con la razón, y puedes seleccionar Importar sin estas filas para importar el resto.
Cómo etiquetar evaluaciones y gestionar etiquetas
Las etiquetas agrupan evaluaciones relacionadas para que las encuentres rápido a medida que crece tu conjunto. Por ejemplo, etiqueta por tema (Reembolsos), equipo o propietario (Equipo de facturación), tipo de prueba (Regresión, Escalada) o idioma (Francés). Una evaluación puede tener tantas etiquetas como necesites.
Cómo crear una etiqueta para evaluaciones
Para ver y crear etiquetas, haz clic en Etiquetas en la parte superior derecha de la página de evaluaciones. El panel de etiquetas lista cada etiqueta y cuántas evaluaciones la usan, y puedes buscar una etiqueta con el cuadro Buscar etiquetas.
Ve a Prueba > Evaluaciones.
Haz clic en Etiquetas, luego en Nueva etiqueta.
En Nombre, ingresa un nombre para la etiqueta, por ejemplo "Reembolsos".
Opcionalmente, haz clic en Agregar evaluaciones y elige las evaluaciones que deberían recibir la etiqueta al crearla.
Haz clic en Crear etiqueta.
Cómo agregar etiquetas a evaluaciones
Desde la lista de evaluaciones: selecciona las casillas junto a una o más evaluaciones, haz clic en Etiquetar arriba de la lista y elige las etiquetas para agregar. Puedes etiquetar hasta 100 evaluaciones a la vez.
Desde dentro de una evaluación: haz clic en + Etiqueta debajo del nombre de la evaluación.
Cómo filtrar evaluaciones por etiqueta
Ve a Prueba > Evaluaciones.
Haz clic en Agregar filtro, luego en Etiqueta.
Selecciona una o más etiquetas. Cada etiqueta muestra cuántas evaluaciones la usan.
Cómo renombrar o eliminar etiquetas para evaluaciones
Para renombrar o eliminar una etiqueta, haz clic en Etiquetas en la parte superior de la página de evaluaciones, o selecciona Gestionar etiquetas en el selector de etiquetas. El panel muestra cuántas evaluaciones usan cada etiqueta. Eliminar una etiqueta la quita de todas las evaluaciones, incluidas las de versiones.
Nota: Las etiquetas aplican a evaluaciones, no a simulaciones individuales. Para agrupar simulaciones de otra forma, sepáralas en evaluaciones distintas. Las etiquetas de evaluación son independientes de las que usas en conversaciones y contactos.
Cómo agregar una tarjeta de puntuación a una evaluación
Una tarjeta de puntuación añade evaluación de calidad a una evaluación, como Clarificación o Eficiencia, además de sus verificaciones de aprobado/reprobado. Para agregar una, abre la evaluación y haz clic en Agregar tarjeta de puntuación en la parte superior derecha, junto a Nueva simulación. Después de agregarla, aparece una sección Evaluación de calidad junto a Resultados de simulación. Para crear una tarjeta de puntuación, agregar criterios y establecer el peso de puntuación y la configuración Crítica de cada criterio, consulta el artículo Cómo agregar una tarjeta de puntuación a una evaluación.
Cómo ver el desempeño de Fin en tus evaluaciones
Para ver cómo Fin ha rendido en todas tus evaluaciones, mira el resumen en la parte superior de Prueba > Evaluaciones. Refleja la última vez que se ejecutó cada simulación y tiene dos partes:
Resultados de la simulación: cuántas Simulations pasaron todas sus verificaciones de Simulación y de Transferencia, por ejemplo 42/50 pasaron (84%). Las Simulations que tuvieron errores cuentan como fallidas, y las Simulations que aún no se han ejecutado cuentan para el total.
Evaluación de calidad: para cada Scorecard, la puntuación media de revisión y el promedio de cada criterio, en todas las Evals que lo usan. Usa las flechas para moverte entre Scorecards.
El resumen se actualiza con tu búsqueda y filtros, así que filtrar por una etiqueta muestra resultados solo para esas Evals. Para comparar ejecuciones anteriores, abre una Simulación y haz clic en el menú desplegable del historial de ejecuciones junto a su resultado. Lista cada ejecución por fecha con su resultado.
Preguntas frecuentes sobre la gestión de Evals
¿Cuántas Simulations puede contener una Eval?
¿Cuántas Simulations puede contener una Eval?
Una Eval puede contener hasta 50 Simulations. Para agregar más, elimina Simulations existentes o crea una nueva Eval.
¿Puedo crear Simulations desde un archivo CSV?
¿Puedo crear Simulations desde un archivo CSV?
Sí, puedes crear Simulations desde un archivo CSV. Haz clic en New eval, luego elige Upload a CSV. Para agregar Simulations importadas a una Eval que ya tienes, ábrela y selecciona Import CSV en el menú de opciones (...). Las preguntas de Batch Test también funcionan: expórtalas a un archivo CSV, y cada pregunta se convierte en el mensaje inicial de una Simulación.
¿Puedo etiquetar Simulations individuales?
¿Puedo etiquetar Simulations individuales?
No puedes etiquetar Simulations individuales, porque las etiquetas aplican solo a Evals. Para agrupar Simulations de forma diferente, divídelas en Evals separadas.
¿Quién puede crear, editar y ejecutar Evals?
¿Quién puede crear, editar y ejecutar Evals?
Los compañeros con Can view configuration and propose changes in a draft release o Can view configuration and publish changes directly to main (individually or in a release) bajo Fin AI Agent & Automation pueden crear, editar, etiquetar y ejecutar Evals. Los compañeros con Can view configuration pueden ver Evals y sus resultados, y pueden filtrarlos por etiqueta.
