Un desarrollador ha documentado el proceso de utilizar agentes de código asistido para programar un chip FPGA (campo programable de puertas lógicas) optimizado para la inferencia de modelos de lenguaje. El experimento, realizado en la nube mediante AWS F2 instances, logró aumentar la velocidad de inferencia de 6 a 213 tokens por segundo, una mejora de 33 veces respecto a la línea base exacta de bits. El proceso consumió aproximadamente 3 millones de líneas de código (principalmente C++ y Verilog) y 30 millones de líneas de archivos de salida, con un coste de 10.000 dólares en tokens de Claude y OpenAI. El autor, que no tenía experiencia previa en hardware de bajo nivel, utilizó agentes de IA para generar la lógica de control, la gestión de memoria y la optimización de pipelines. La colaboración incluyó la incorporación de conocimientos técnicos de los fundadores de DeepGrove, quienes proporcionaron guías sobre arquitecturas de pesos ternarios y optimización de memoria. El resultado demuestra la capacidad de los modelos de lenguaje actuales para generar código de bajo nivel complejo y verificado, superando las limitaciones de los humanos en este dominio específico.
