El artículo explica por qué los agentes de investigación basados en modelos de lenguaje grandes (LLM) no sufren sobreajuste, a diferencia de lo predicho por la teoría clásica del aprendizaje automático. Aunque el aprendizaje automático busca la generalización y no la memorización, los estudios sugieren que los agentes de IA logran mejoras reales en datos nuevos sin caer en la trampa de memorizar los ejemplos de entrenamiento.
La explicación central se basa en la 'cuchara de Occam' formalizada matemáticamente: las hipótesis simples son más probables de ser correctas. Si una estrategia puede describirse con muy pocos bits, no tiene espacio para memorizar los datos de entrenamiento; por tanto, si funciona bien en ellos, debe haber capturado la estructura real de los datos. Los LLM actúan como decodificadores de compresión eficientes gracias a su vasto conocimiento previo, lo que permite que los agentes transmitan estrategias complejas en mensajes breves.
El texto describe un experimento donde un agente de IA optimiza un modelo en un conjunto de validación reutilizado. A diferencia de la comunidad humana, que no puede ser reiniciada, el agente puede ser controlado y reiniciado. Los resultados muestran que, al igual que los humanos, los agentes no sobreajustan los benchmarks. Esto valida la hipótesis de que las estrategias de IA exitosas son altamente compresibles, resolviendo así una de las mayores paradojas de la investigación en machine learning.