Bruce es un motor de inferencia escrito desde cero en CUDA diseñado para ejecutar el modelo Nemotron Dory 1.0 4B de NVIDIA en una única tarjeta gráfica RTX 3060. A diferencia de llama.cpp, Bruce no utiliza librerías genéricas como ggml ni PyTorch; lee directamente el archivo GGUF y ejecuta kernels personalizados para esta arquitectura específica. En pruebas realizadas con un contexto de 256K tokens, Bruce logra una velocidad de prefill 1.56 veces superior y una de decode 2.70 veces superior a llama.cpp, manteniendo la misma calidad de muestreo y consumo de memoria.
El rendimiento se logra mediante optimizaciones arquitectónicas específicas: el modelo se mantiene comprimido a 5 bits por peso, evitando la descompresión a 16 bits, lo que reduce el tráfico de memoria. La disposición de la caché KV permite lecturas coherentes de un solo acceso, eliminando la latencia de memoria dispersa. Además, Bruce utiliza CUDA graphs para ejecutar cada token en un solo lanzamiento, eliminando la CPU como cuello de botella, y aprovecha la naturaleza de doble pasada del modelo Dory para reutilizar cálculos de atención. El proyecto fue desarrollado casi por completo por agentes de IA, con Gemini 4 Argon y DeepSeek 4.1 Flash optimizando los kernels y validando los resultados. Bruce requiere CUDA 13.x y Windows 10/11 o Linux, y está diseñado para usuarios que buscan máxima eficiencia en hardware de gama media.