sFNX es un motor de inferencia para modelos de lenguaje grandes (LLM) de tipo MoE (Mixture of Experts) que optimiza el rendimiento en hardware específico: tres tarjetas NVIDIA Tesla V100-32GB conectadas por PCIe Gen3 sin NVLink. A diferencia de los enfoques tradicionales que asumen NVLink o dividen los tensores por cabezales de atención, sFNX divide cada capa del modelo entre las tres tarjetas, permitiendo que una sola solicitud lea los pesos de todas las tarjetas simultáneamente. Esta arquitectura elimina la dependencia de NVLink y permite manejar contextos de 262,144 tokens con seis conversaciones activas simultáneas.
El sistema utiliza la cuantización UD-Q4_K_XL de Unsloth en producción, logrando una velocidad de 382 tokens por segundo en tareas de edición de código. Para el resto de las tareas, las velocidades varían entre 139 y 291 tokens por segundo, dependiendo del tipo de prompt y la temperatura de muestreo. sFNX soporta también la cuantización Q8_0, aunque con un rendimiento ligeramente inferior. El proyecto incluye una interfaz web propia y un motor de codificación de imágenes, y está diseñado para funcionar con CUDA 12.9 y g++-14. La documentación detalla el uso de llama.cpp, la gestión de la memoria y las configuraciones necesarias para desplegar el servicio en un entorno de producción con un coste total de aproximadamente 1.800 dólares en hardware de segunda mano.