Ouroboros: compilador Rust que ejecuta LLMs en portátiles de 2GB

Fuentes: Ouroboros: Rust compiler runs LLMs on 2GB laptops

Ouroboros es un compilador de GPU y motor de inferencia de LLMs escrito en un único archivo de Rust de 8.120 líneas, diseñado para operar modelos de múltiples miles de millones de parámetros en hardware de consumo. A diferencia de las soluciones tradicionales que dependen de librerías externas como cuDNN o cuBLAS, Ouroboros se vincula directamente con el controlador del sistema operativo (nvcuda.dll) y compila kernels personalizados en memoria en tiempo real. Esta arquitectura permite ejecutar modelos como Llama-3.2-3B-Instruct en un portátil con tarjeta GeForce MX150 de 2GB, superando en latencia de decodificación a una RTX 4060 de escritorio, mientras que en servidores con NVIDIA A100 alcanza 23,35 TFLOPS y 1.685 GB/s de ancho de banda.

El sistema utiliza técnicas avanzadas de optimización, incluyendo kernels PTX de 2 bits (Q2) y operadores fusionados E-Graph, que reducen la latencia de los operadores de atención y proyección de pesos. Además, implementa un ensamblador directo para binarios ELF64 .cubin y un sistema de gestión de memoria sin copias de cero, manteniendo los hilos de trabajo residentes en los SMs físicos. Ouroboros requiere solo la cadena de herramientas estándar de Rust (rustc 1.75+) y no necesita archivos de configuración adicionales, lo que facilita su despliegue en entornos de desarrollo y producción donde la dependencia de dependencias externas es un obstáculo técnico.