El proyecto samir-vllm es un motor de inferencia para modelos de lenguaje de gran escala (LLM) desarrollado desde cero en C++ y CUDA, diseñado para explicar los principios fundamentales del proceso de generación de tokens. A diferencia de las herramientas comerciales, este proyecto se centra en la transparencia técnica, ofreciendo más de 80 páginas de notas manuscritas y 6 horas de tutoriales en YouTube que detallan cada paso, desde la carga de pesos del modelo hasta la ejecución de los kernels en la GPU.
El sistema está construido sobre C++17 y utiliza CMake para la compilación, integrando la librería ICU para un tokenizado consciente de Unicode. Su arquitectura permite cargar directamente los pesos BF16 desde archivos safetensors, validando metadatos y offsets de tensores para copiar la memoria sin copias intermedias en la CPU. El motor soporta el modelo Llama 3.2 1B Instruct, implementando un tokenizador BPE local y kernels CUDA específicos para la normalización RMSNorm y la atención causal densa.
La gestión de la memoria es un pilar central del proyecto. Implementa un pool de páginas KV compartido con una tabla de bloques por secuencia, optimizando el uso de la memoria física mediante una política de admisión conservadora que evita la preemoción y el recomputado. El sistema soporta tanto batcheo estático como continuo, permitiendo admitir peticiones en tiempo real según los presupuestos de página disponibles. Además, incluye un sistema de buffers persistentes y un manejador cuBLAS compartido para mejorar el rendimiento en la inferencia.
El proyecto está diseñado para estudiantes e ingenieros que buscan comprender la infraestructura subyacente de la inferencia de LLM. Incluye pruebas exhaustivas, scripts de referencia en Python y documentación técnica completa, todo bajo una licencia MIT. Los requisitos de hardware son accesibles, requiriendo una GPU NVIDIA con CUDA Toolkit y un compilador C++17, lo que lo hace viable para entornos de desarrollo personales y académicos.
