Lightreason es un laboratorio de inferencia local y una herramienta interactiva diseñada para acelerar el procesamiento de modelos de lenguaje de Qwen en una única GPU RTX 4090. El proyecto se centra en mejorar el rendimiento utilizando pesos BF16 originales de Qwen2.5-3B-Instruct (3.09B parámetros) y Qwen3.6-35B-A3B (34.66B parámetros), logrando mejoras significativas en la velocidad de tokens por segundo (tok/s) mediante técnicas avanzadas de optimización.
Para el modelo de 3B parámetros, Lightreason logra una velocidad de 139.6 tok/s, superando las 63.0 tok/s iniciales, manteniendo la coherencia de las respuestas en Python, JavaScript y SQL. En el caso del modelo de 35B parámetros, la herramienta alcanza 51.08 tok/s en prompts limitados, comparando un aumento de 6.44 veces respecto a la configuración estándar. La implementación combina técnicas existentes como NVIDIA CUDA Graphs, AMD PARD2, Inco AI DFlash2 y FlashML’s FreeToken, adaptándolas para reutilizar trabajo de GPU y caché KV compacta.
El repositorio incluye un Studio interactivo que permite comparar en tiempo real el rendimiento entre la inferencia estándar y la optimizada por Lightreason. La instalación requiere un entorno Linux con CUDA 12.8 y PyTorch 2.9.1, y el proceso de descarga de los modelos pesa aproximadamente 6.2 GB. Lightreason destaca por su enfoque en la reproducibilidad y la transparencia, documentando cada experimento y sus limitaciones, como el uso de pesos públicos que requieren adaptadores específicos para replicar ciertos benchmarks de investigación.
