Usa este artículo para pedir a Operator que cree, ejecute y analice Evals, revise los cambios que propone y programe ejecuciones recurrentes. Operator también puede recomendar mejoras para tus Evals y Simulations o para la configuración de Fin. Para lo básico, incluyendo qué son Evals y Simulations, consulta el artículo Evals explained.
Nota: Para usar Evals con Operator, tu espacio de trabajo necesita el Pro add-on y debes tener acceso a Operator.
Cómo crear un Eval con Operator
Para crear un Eval con Operator, abre Operator en la navegación izquierda y pídele que cree un Eval para tu caso de uso. Por ejemplo, podrías pedirle que pruebe:
La Release en la que estás trabajando: los cambios en la configuración de Fin en tu Release actual, antes de que se publiquen.
Conversaciones específicas: comparte uno o más IDs de conversación, y Operator crea Simulations que las recrean.
Casos límite que aún no has cubierto: pide a Operator que busque vacíos en tus Simulations existentes y sugiera nuevas.
Un Procedimiento nuevo o actualizado: verifica que Fin siga cada paso, incluyendo los puntos donde debe hacer la transferencia.
Un tema: nombra un tema, como reembolsos, y Operator crea Simulations que cubren la variedad de escenarios por los que los clientes probablemente te contacten.
Más variaciones de un Eval existente: pide a Operator que añada Simulations con diferentes clientes, tonos o idiomas.
Puedes decirle a Operator cuáles deben ser las Simulations, las comprobaciones de Simulations y las comprobaciones de transferencia, o dejar que las determine. Si algo no está claro, como si añadir Simulations a un Eval existente o a qué equipo debe ir una transferencia, Operator te pregunta primero. Elige una opción, escribe tu propia respuesta en Something else, o haz clic en Skip para que Operator decida.
Consejo: Cuanto más específica sea tu solicitud, menos preguntas necesitará hacer Operator.
Ejemplo de solicitud: Crea un nuevo Eval llamado "Refund requests" con 5 Simulations: una solicitud de reembolso sencilla, un cliente preguntando por un reembolso fuera del plazo, un cliente frustrado que ha sido cobrado dos veces, un cliente que pregunta en español y uno donde Fin debe transferir al equipo de Facturación. Para adaptarlo, reemplaza el nombre del Eval y los escenarios con tu propio tema y casos.
Cómo revisar y guardar lo que crea Operator
Operator no guarda nada hasta que lo revises. Los nuevos Evals y Simulations aparecen en el panel "changes pending" sobre el cuadro de mensaje, cada uno marcado como "New". Haz clic en cualquier elemento para revisarlo antes de guardarlo.
Cuando estés listo, elige dónde guardar los cambios:
Publicar en Fin Main: guarda todos los cambios pendientes en tus Evals activos inmediatamente.
Guardar en borrador de release: guarda los cambios en un borrador de release existente, para que puedas probarlos junto con otros cambios antes de que se publiquen. Selecciona un borrador de la lista o haz clic en New release draft para crear uno.
Para descartar los cambios, haz clic en el icono de eliminar.
Cómo ejecutar un Eval con Operator
Para ejecutar un Eval con Operator, pídele que ejecute el Eval, por ejemplo: Ejecuta el Eval de Refund requests. Operator te muestra los resultados a medida que se ejecuta cada Simulation.
No necesitas Operator para ejecutar un Eval. Ve a Test > Evals y ejecútalo tú mismo. Las ejecuciones iniciadas desde Operator también aparecen allí, para que puedas revisar todos los resultados en un solo lugar.
Cómo leer los resultados que te da Operator
Una vez que cada Simulation se ha ejecutado, Operator presenta los resultados y los explica:
Una tabla de resultados: el resultado general de cada Simulation (Aprobado, Fallido o Error) y las comprobaciones individuales detrás de él, para que puedas ver por qué terminó así. Por ejemplo, una Simulation llamada "Bulk workspace export" puede fallar porque la comprobación de transferencia falló (Fin escaló cuando no debía), aunque la comprobación de respuesta de Fin pasó.
Un resumen: los conteos principales (3 aprobados, 1 fallido, 2 con error), seguido de un desglose en lenguaje sencillo de lo que salió mal y por qué. Por ejemplo, Operator puede rastrear una exportación fallida hasta una regla de guía que transfiere a un compañero cada vez que aparece la palabra "failure".
Cómo solucionar problemas con Operator
Después de analizar los resultados, Operator puede recomendar mejoras, ya sea para tus Evals y Simulations o para la configuración de Fin, y hacer esos cambios por ti. Por ejemplo, cuando una Simulation falla debido a una regla de guía, Operator rastrea el fallo hasta esa regla para que puedas ver qué corregir. Operator no aplica correcciones por sí solo. Cada cambio que propone aparece en el panel "changes pending" para que lo revises antes de guardarlo, como se describe en "Cómo revisar y guardar lo que crea Operator" arriba.
Cómo programar Evals con Operator y Routines
Para ejecutar Evals en un horario regular, como cada lunes por la mañana, configura una Routine en Operator. No puedes programar Evals desde la página de Evals.
Para programar un Eval:
Abre Operator en la navegación izquierda y haz clic en Routines.
En Configurar una rutina, describe qué quieres ejecutar y cuándo. Por ejemplo: "Ejecuta el Eval de Refund requests cada lunes a las 9 a. m. y resume los resultados."
Operator redacta la Routine y la muestra en un panel a la derecha, con su disparador, horario e instrucciones. Si falta algo, como la hora o la zona horaria, Operator sugiere un valor predeterminado y te pide confirmarlo o cambiarlo.
Revisa los detalles de la Routine y luego haz clic en Aceptar para activarla, o en Descartar para cancelarla.
Cada vez que la Routine se ejecuta, informa cuántas Simulations pasaron y fallaron, cuáles fallaron y por qué, y cualquier corrección recomendada para el contenido, las guías o los Procedimientos de Fin.