Evaluación de la humildad epistémica en agentes de LLM

Un nuevo estudio propone evaluar la humildad epistémica (EH) en agentes de modelos de lenguaje de gran escala (LLM), un aspecto que las evaluaciones tradicionales de éxito en tareas ignoran. La investigación define la EH como la disposición del agente a reconocer, actuar sobre y comunicar la incertidumbre durante la ejecución de una tarea. Para operacionalizar este concepto, los autores desarrollan una métrica basada en tres dimensiones de comportamiento a nivel de trayectoria: Identificar, Resolver y Escalar (ISE). El método se centra en la 'conflicto de conocimiento', situaciones donde el conocimiento paramétrico del modelo contradice la evidencia recuperada o donde dos fuentes contextuales discrepan. Se evalúan dos configuraciones: conflicto controlado y conflicto natural durante ejecuciones multi-paso, cada una con controles sin conflicto. En la prueba con cuatro agentes, los resultados revelan que una mayor precisión en la tarea no garantiza una mayor humildad epistémica. Algunos agentes de alta precisión detectan conflictos iniciales pero no comunican la incertidumbre en sus respuestas finales incorrectas. Además, el análisis de trayectoria muestra que los agentes suelen detectar conflictos en los primeros pasos pero fallan en mantenerlos o resolverlos en etapas posteriores. Finalmente, el estudio demuestra que las intervenciones a nivel de modelo pueden mejorar la EH, aunque a menudo a costa de la precisión de la tarea, lo que sugiere que la humildad epistémica emerge de la interacción entre el modelo base, el arnés del agente y el entorno de evaluación.