Microsoft y Hugging Face han publicado ThinkingBox, un benchmark que evalúa la fiabilidad de los agentes de inteligencia artificial al interactuar con bases de datos y sistemas de backend. El estudio, que analiza 507 flujos de trabajo empresariales, destaca una brecha significativa entre la apariencia correcta de las llamadas a herramientas y el estado real de los datos. En un caso ilustrativo, un agente cerró un ticket como resuelto aunque la excepción del transportista seguía pendiente, dejando un estado incorrecto en la base de datos. De los 121.680 intentos válidos en 12 modelos, el 79.853 falló en las comprobaciones ejecutables, mostrando errores en valores de campos o efectos secundarios no deseados. El benchmark introduce métricas de consistencia, como 'observed 20/20', que miden el éxito en 20 repeticiones independientes. Claude Opus 5.5 lidera con un 67,16% de éxito general, mientras que Kimi-K3, un modelo de código abierto, muestra la mayor cobertura (93,89% de tareas resueltas al menos una vez) pero la menor consistencia. Los resultados demuestran que la capacidad de un modelo en un solo intento no garantiza su fiabilidad en operaciones críticas, subrayando la necesidad de validar el estado de los datos tras cada acción del agente.
Noticias agregadas con IA