El artículo MARGIN (Multi-Agent Runtime Grading via Incremental Normalisation) presenta un método de calibración de confianza en tiempo real diseñado para mejorar la coordinación entre modelos de lenguaje de base (foundation models) heterogéneos. El problema central que aborda es que la confianza autoinformada por los modelos puede tener significados distintos según el modelo y cambiar con la carga de trabajo, lo que dificulta la toma de decisiones colectivas precisas.
MARGIN opera sin necesidad de reentrenar los modelos ni de utilizar un conjunto de datos de calibración separado. En su lugar, el sistema aprende correcciones específicas de cada modelo a partir de los resultados observados de sus respuestas. El mecanismo funciona monitoreando la precisión reciente y la confianza declarada dentro de bandas de confianza, utilizando la relación entre ambas para corregir la confianza reportada. Estas correcciones se mezclan para generar una estimación a nivel de modelo, que luego pondera las respuestas candidatas en la decisión colectiva.
La evaluación del sistema se realizó en tareas de generación de código, respuesta a preguntas y matemáticas, utilizando una piscina de 18 modelos y un subconjunto de nueve para experimentos de cambio de distribución. En las pruebas de BigCodeBench, se observó una relación negativa entre la confianza media de los modelos y su precisión. Además, MARGIN superó a cinco líneas base de calibración en línea en dos transiciones de generación de código y cuatro en respuesta a preguntas, logrando un error de calibración esperado más bajo tras el cambio de distribución.
En experimentos de coordinación específicos, la calibración mejoró la clasificación de respuestas correctas y aumentó la precisión de selección de respuestas en 4.3 y 14.0 puntos porcentuales, respectivamente, en dos de tres benchmarks, frente a la ponderación de confianza no calibrada. Estos resultados respaldan la viabilidad de la calibración de confianza específica de modelo en tiempo real para la coordinación bajo cargas de trabajo cambiantes, siempre que se disponga de retroalimentación de corrección para los participantes.