Use este artículo para ejecutar las Simulaciones en un Eval, leer los resultados en una página de Eval y revisar cómo le fue a Fin en una sola Simulación.

Para ejecutar todas las Simulaciones en un Eval a la vez, abra el Eval y haga clic en Ejecutar todo. Para ejecutar una Simulación, haga clic en el botón de ejecución en su fila. Mientras una Simulación se ejecuta, su columna Última ejecución muestra Justo ahora y su columna Resultado muestra Ejecutando. Cuando termina, Resultado cambia a Aprobado, Reprobado o Error.

Cuando ejecuta un Eval, los resultados no son instantáneos, porque cada Simulación es una conversación completa de múltiples turnos. Fin responde, el cliente simulado responde y la conversación continúa hasta que termina. Después de eso, se califican las verificaciones y cualquier Scorecard. Una Simulación puede tardar unos minutos, y un Eval completo puede tardar más.

Para ejecutar solo algunas Simulaciones, selecciónelas y haga clic en Ejecutar, o busque o filtre la lista y haga clic en Ejecutar filtrado.

Su espacio de trabajo puede ejecutar un número establecido de Simulaciones en Evals cada mes. El límite se aplica a todo el espacio de trabajo y se restablece el primer día de cada mes calendario. Su asignación mensual de Simulaciones se basa en el volumen de conversaciones de su espacio de trabajo, y los espacios de trabajo más grandes reciben asignaciones mayores.

La tabla a continuación muestra la asignación mensual de Simulaciones para cada segmento de volumen de conversaciones.

Cuando su espacio de trabajo alcanza el 80% de su límite mensual de Simulaciones, aparece un banner amarillo que muestra su uso actual (por ejemplo, 850/1000) y cuándo se restablece el límite. Al 100%, aparece un mensaje rojo y no puede ejecutar más Simulaciones hasta el próximo mes. Si hace clic en Ejecutar todo cerca de su límite, se ejecutan las Simulaciones que caben dentro de su asignación y el resto no se inicia.

Una página de Eval muestra los resultados de un Eval y lista las Simulaciones dentro de él. Para abrirla, haga clic en el nombre de un Eval en la página de Evals. El nombre del Eval aparece en el título de la página, después de la ruta Evals.

El conteo de Resultados de simulación cubre el número de Simulaciones en el Eval que pasaron todas las verificaciones de Simulación y los criterios de Handoff cuando se ejecutaron por última vez. Para ver esta definición, pase el cursor sobre el signo de interrogación junto a Resultados de simulación.

Haga clic en el menú ⋯ en la parte superior de una página de Eval para elegir una de estas opciones: Editar eval, Importar CSV o Eliminar eval.

Una página de Simulación muestra una conversación simulada, las verificaciones en las que se calificó y cómo le fue a Fin. Para abrirla, haga clic en la fila de una Simulación en la página de Eval. El título de la página muestra la ruta Evals, luego el nombre del Eval, luego Simulación.

Para cambiar lo que verifica una Simulación, consulte el artículo Configurar Simulaciones para Evals.

Cuando una Simulación termina, muestra Aprobado, Reprobado o Error. Una Simulación pasa solo si cada verificación de Simulación y de Handoff pasa, por lo que una sola verificación fallida significa que la Simulación falla. Para cada Simulación obtiene el resultado general, la transcripción completa de la conversación y el registro de eventos que muestra el pensamiento de Fin y las herramientas e información que usó en cada turno.

Si una sola conversación necesita que Fin trabaje en múltiples Procedimientos, verá a Fin cambiar entre Procedimientos a medida que se desarrolla la conversación simulada, tal como lo haría con un cliente real. Cada Simulación mantiene sus últimas 15 ejecuciones, y puede usar el menú desplegable del historial de ejecuciones en una Simulación para revisar resultados anteriores.

Cada Eval en la lista de Evals muestra un resultado general. Estas son también las opciones en el filtro Resultado:

Los Evals Aprobados, Parcialmente aprobados y Reprobados muestran un conteo, como 8/10 Aprobados. La insignia es verde cuando todas las Simulaciones pasaron, y roja cuando menos de la mitad lo hicieron.

Una Simulación puede fallar en la verificación predeterminada Sin transferencia incluso cuando la respuesta de Fin parecía correcta. Si agrega una Simulación sin una verificación explícita de Handoff y sin verificaciones de Simulación, la Simulación pasa solo si Fin resolvió la conversación sin transferir a un equipo o flujo de trabajo. Este valor predeterminado no se muestra en la configuración de la Simulación, así que verifique si se estableció una verificación de Handoff cuando una Simulación falla y no puede ver por qué.

Para probar Fin en otro idioma, escriba el primer mensaje del cliente en ese idioma. Las Simulaciones admiten los mismos idiomas que Fin, y no necesita configurar un idioma. Cuando comienza una Simulación, Fin detecta el idioma del primer mensaje usando la misma detección de idioma que las conversaciones en vivo, y lo usa para toda la Simulación. Fin responde en ese idioma, el cliente simulado escribe sus mensajes de seguimiento en él también, y los Scorecards se califican en ese idioma.

Para probar el mismo escenario en varios idiomas, cree una Simulación por idioma y use etiquetas en los Evals para agruparlas. Escriba mensajes iniciales de al menos una oración completa para que la detección de idioma sea confiable. El idioma se establece una vez al inicio y no cambia si el cliente cambia de idioma a mitad de la conversación.

Después de cambiar el contenido, la guía, los Procedimientos o las Habilidades de Fin, vuelva a ejecutar sus Evals existentes para verificar regresiones. Cada Simulación se almacena y es reutilizable, por lo que volver a ejecutar toma un clic en lugar de recrear sus escenarios de prueba. Para ejecutar Evals en un horario regular, como cada lunes por la mañana, configure una Rutina en Operador que ejecute los Evals que elija en los horarios que seleccione. La programación no está disponible en la página de Evals.