La industria de la inteligencia artificial está redefiniendo el rol de los compiladores de modelos de lenguaje (ML compilers) al integrar agentes de IA en el proceso de optimización de kernels. Recientemente, el laboratorio Flapping Airplanes ha recaudado mil millones de dólares, destacando un marco de megakernels que permite realizar pasadas hacia adelante y hacia atrás eficientes mientras ejecuta juegos como Doom. Paralelamente, Hyperstition ha desarrollado el Hyperkernel, una herramienta que genera kernels de alto rendimiento para diversos modelos, cuestionando si la infraestructura tradicional de compiladores sigue siendo necesaria o si los agentes pueden optimizar directamente.
El equipo de TVM (TVM) argumenta que, aunque los agentes pueden manejar los detalles de bajo nivel, se requiere una base de compiladores mínima y estable para proporcionar abstracciones compartidas y herramientas reutilizables. Su enfoque se centra en la optimización como un proceso de búsqueda e iteración, donde los tokens y las llamadas a herramientas tienen un coste económico y temporal. Por ello, han desarrollado verificadores para el acceso a la memoria y la sincronización, formalizando su IR en Lean para permitir una verificación barata y precisa.
En contraste, Together Compiler (TKCC) adopta una postura diferente, argumentando que las representaciones intermedias tradicionales tienen una expresividad limitada. Sus experimentos muestran que los agentes dedican aproximadamente el 20% de su tiempo a leer archivos del motor para entender las rutas de código relevantes. TKCC utiliza un modelo de coste para clasificar configuraciones de paralelismo antes de ejecutarlas, reduciendo así el espacio de búsqueda. Mientras que los compiladores tradicionales buscan hacer que el código sea más rápido, el nuevo paradigma busca hacer que la búsqueda de optimizaciones sea más eficiente, coevolviendo con los propios agentes de IA.
