Meta-Harness: IA optimiza el rendimiento de modelos de lenguaje

Investigadores han desarrollado un nuevo sistema llamado 'Meta-Harness' que automatiza la mejora del rendimiento de los agentes de modelos de lenguaje grandes (LLM). El sistema, implementado como un prototipo de 200 líneas de código, utiliza un agente 'propositor' que analiza registros de ejecución anteriores para identificar fallos y generar mejores 'harness' (la combinación de prompts, herramientas y scaffolding alrededor del LLM). La clave de este sistema es el acceso a una gran cantidad de datos de diagnóstico (hasta 10 millones de tokens) en lugar de simples estadísticas resumidas, lo que permite identificar patrones y transferir soluciones entre tareas. El prototipo, construido sobre la infraestructura de Islo, demostró una convergencia rápida en un conjunto de cinco tareas de programación (FizzBuzz, números primos, etc.), pasando de un rendimiento inicial de 0/5 a 5/5 en solo cuatro iteraciones. Un ejemplo notable fue cómo una pista para la tarea FizzBuzz, que contenía la palabra 'inclusive', corrigió inesperadamente un problema en la tarea 'sum-of-evens'. El sistema es adaptable a diferentes backends, como Claude, y representa un avance significativo en la optimización automática de agentes de IA, permitiendo mejoras más precisas y eficientes.