Tinyinfer es un motor de inferencia para modelos de lenguaje de gran escala (LLM) de la familia Llama, desarrollado desde cero en C++ y CUDA. A diferencia de las herramientas estándar, este proyecto no utiliza PyTorch ni cuBLAS, sino que implementa kernels personalizados para operaciones críticas como la multiplicación GEMV y la atención con decodificación flash. El objetivo principal es maximizar el rendimiento en hardware limitado, logrando 235 tokens por segundo en una GPU RTX 3050 de 6 GB, lo cual representa el 77% del ancho de banda de memoria de la tarjeta.
El sistema opera mediante cuantización de pesos solo en memoria, utilizando formatos INT8 e INT4 con grupos de 64 elementos. Esta técnica permite que modelos de 7B parámetros, como Llama-2-7B, que normalmente requerirían más de 10 GB de RAM, encajen en GPUs de 6 GB con un uso de memoria inferior a 4 GB. La arquitectura se basa en CUDA Graphs para capturar y reproducir secuencias de decodificación completas, reduciendo la latencia de reinicio. Además, incluye verificación de precisión cruzada con referencias de CPU y HuggingFace Transformers, garantizando que los logits finales difieran menos de 1e-3.
El proyecto está diseñado para ser autocontenido y portable, soportando Windows y Linux, con CUDA 12 y 13. Incluye un conversor de modelos que genera un formato propio (.tinf) a partir de archivos safetensors, permitiendo la ejecución de modelos como TinyLlama-1.1B y Vicuna. La documentación técnica detalla optimizaciones específicas, como el uso de memoria compartida para evitar conflictos de bancos y técnicas de carga coalescida, ofreciendo una alternativa técnica para desarrolladores que buscan control total sobre el pipeline de inferencia local.
