Investigación revela método para internalizar debates multiagente en modelos de lenguaje

Un equipo de investigadores ha desarrollado un nuevo método para mejorar el razonamiento en modelos de lenguaje grandes (LLMs) a través de la internalización de debates multiagente. La técnica, denominada 'Latent Agents', destila la complejidad de los debates en un único modelo de lenguaje mediante un proceso de ajuste fino de dos etapas. Este enfoque reduce significativamente el consumo de recursos computacionales, utilizando hasta un 93% menos de tokens en comparación con los debates multiagente tradicionales, al tiempo que mantiene o incluso supera su rendimiento. El estudio también revela que este proceso de internalización crea 'subespacios de agente', áreas específicas en el espacio de activación que representan diferentes perspectivas. Además, la investigación demuestra la aplicación práctica de esta técnica para controlar comportamientos no deseados en los LLMs, facilitando la localización y supresión de acciones maliciosas con menor impacto en el rendimiento general.