Tau-Emotion-Bench es un benchmark de diez dominios diseñado para evaluar la fiabilidad de los agentes de lenguaje de gran escala (LLM) en tareas de llamada de herramientas de largo alcance. A diferencia de las pruebas existentes, que asumen usuarios cooperativos y estables, este sistema introduce variaciones emocionales controladas en las interacciones, revelando la fragilidad de la interacción entre la IA y el usuario. El proyecto, presentado en arXiv en octubre de 2026, busca medir cómo las fluctuaciones emocionales afectan la capacidad de los agentes para completar tareas de forma consistente.
Para escalar la construcción del benchmark y el entrenamiento de los agentes, los autores han desarrollado Tracer, una pipeline de generación de datos agéntica. Esta herramienta construye tareas fundamentadas y válidas para políticas, recopilando trayectorias a través de un sistema de interacción entre agente, usuario y entorno. Un componente clave es la capacidad del sistema para permitir a los usuarios insatisfechos terminar interacciones ineficientes, lo que proporciona una señal de interacción consciente. Esta señal filtra las trayectorias con una dependencia excesiva del usuario y favorece el uso efectivo de herramientas.
Los experimentos con dos simuladores de usuarios demuestran que los agentes de frontera siguen siendo poco fiables, mostrando brechas significativas entre el éxito promedio de la tarea y la finalización consistente. La supervisión generada por Tracer mejora consistentemente los modelos Qwen3 en todas las escalas, generaliza a dominios no vistos y se transfiere a otros benchmarks como Tau-Trait. Los análisis conductuales indican que un mayor éxito en la tarea se asocia con un mejor equilibrio entre la ejecución de herramientas y la necesidad de seguimiento por parte del usuario. En conjunto, Tau-Emotion-Bench y Tracer ofrecen un marco escalable para evaluar la confiabilidad de los agentes bajo comportamientos de usuario diversos y mejorarlos mediante supervisión consciente de la interacción.