HALO (Human-Grounded Granular Evaluation of Proactive Agents) es un marco de evaluación diseñado para medir la capacidad de los agentes de inteligencia artificial para decidir cuándo y cómo ofrecer asistencia proactiva sin una solicitud explícita. A diferencia de las métricas automáticas tradicionales, este sistema permite un diagnóstico humano detallado sobre el uso de la evidencia y la calidad de la intervención. El estudio, publicado en arXiv, introduce HALO-Arena, un entorno de pruebas que cubre cuatro tipos de necesidades proactivas: dependencia, bloqueo, riesgo y oportunidad, distribuidas en 10 dominios cotidianos y 50 entornos personales. Los escenarios exigen a los agentes recuperar evidencia de bases de datos estructuradas o documentos no estructurados antes de juzgar la necesidad de ayuda y definir su alcance. Para ello, se ha construido HALO-8K, un conjunto de datos de 8.000 respuestas generadas por 10 modelos en 400 escenarios, anotadas por 20 expertos. La evaluación incluye el análisis de tokens de razonamiento y rondas de recuperación para medir el esfuerzo computacional. Los resultados muestran que el modelo propietario más bueno alcanza un 72,88% de aceptabilidad, mientras que el mejor modelo de código abierto obtiene un 66,63%. El hallazgo central es que la sobreproactividad es el fallo dominante, con un 61,20% de las respuestas rechazadas debido a un tiempo prematuro o una intensidad excesiva. Este análisis proporciona insights técnicos sobre el equilibrio entre la intervención y la contención, así como la calibración necesaria para que los agentes actúen de manera efectiva y segura en entornos complejos.
Noticias agregadas con IA