zigferencer es un motor de inferencia para modelos de lenguaje de gran escala (LLM) escrito en Zig 0.16, diseñado para ser ligero y extensible. La herramienta lee archivos de modelos en el formato GGUF y ejecuta el modelo con opciones de configuración avanzadas, permitiendo a los desarrolladores probar kernels y modelos pequeños en hardware no convencional. El proyecto se centra en minimizar las dependencias externas y ofrecer un entorno de pruebas (sandbox) para experimentos técnicos, aunque no está diseñado para producción industrial.
El sistema soporta la familia de modelos Llama 3 y Qwen3.5, con compatibilidad para CPUs x86_64 mediante rutas escalares y AVX2, y GPUs a través de Vulkan, con kernels optimizados para tarjetas AMD RDNA2. La instalación requiere Ubuntu 24.04 y Zig 0.16.0, aunque el binario para CPU es estático y no depende de libc. El motor ofrece tres modos de operación principales: 'run' para generar texto de un solo prompt, 'serve' para gestionar múltiples conversaciones simultáneas mediante ZMQ, y 'serve-openai' para integrar la API HTTP de OpenAI.
En cuanto al rendimiento, zigferencer permite seleccionar entre varios backends de cálculo: 'naive' (CPU escalara), 'simd' y 'simd_pf' (CPU vectorizada AVX2), y 'vulkan' o 'vulkan_fused' (GPU). La versión GPU utiliza un solo dispatch por operación, priorizando la corrección sobre la velocidad extrema, mientras que 'vulkan_fused' optimiza el rendimiento enviando todo el paso del modelo en una sola solicitud. La herramienta incluye un sistema de descargas desde HuggingFace sin necesidad de tokens y permite inspeccionar metadatos de modelos. Aunque la versión GPU requiere drivers Vulkan 1.2 con extensiones específicas, el proyecto destaca por su enfoque en la portabilidad y la eficiencia en recursos, siendo útil para ingenieros que buscan entender el funcionamiento interno de los LLMs a nivel de bajo nivel.
