Un agente de codificación ha logrado optimizar el código de Flash Attention en llama.cpp en un 15% para x86 y un 5% para ARM, gracias a la incorporación de una fase de investigación previa a la codificación. El equipo de SkyPilot, utilizando la herramienta autoresearch (y su versión generalizada, pi-autoresearch), dotó al agente de la capacidad de buscar en artículos de investigación y estudiar proyectos competidores antes de realizar modificaciones en el código. El proceso, que involucró el uso de 4 máquinas virtuales en la nube durante aproximadamente 3 horas, costó alrededor de $29. La clave del éxito residió en que el agente identificó la necesidad de fusiones de operadores, algo que no se detectaría con un enfoque puramente basado en el código. Este enfoque, similar al que un ingeniero senior utilizaría, permitió al agente comprender que el cuello de botella no era la potencia de cálculo, sino el ancho de banda de la memoria, lo que llevó a optimizaciones más efectivas. El experimento demuestra el valor de incorporar conocimiento externo y experiencia en el proceso de optimización automatizada de código, superando las limitaciones de los agentes que solo operan dentro del contexto del código existente.
Noticias agregadas con IA