colibrì es un motor de inferencia escrito en un único archivo de C (~1.300 líneas) y sin dependencias externas que permite ejecutar el modelo GLM-5.2, una arquitectura MoE de 744.000 millones de parámetros, en una máquina doméstica con aproximadamente 25 GB de RAM. El truco reside en explotar una propiedad estructural del modelo: solo se activan unos 40.000 millones de parámetros por token y apenas 11 GB cambian realmente entre tokens, los expertos enrutados. La parte densa (atención, expertos compartidos y embeddings, unos 17.000 millones de parámetros) permanece residente en RAM en int4, ocupando 9,9 GB, mientras que los 21.504 expertos enrutados —organizados en 75 capas MoE con 256 expertos cada una más la cabeza MTP, de unos 19 MB a int4— viven en disco (~370 GB) y se cargan bajo demanda. El motor aplica varias optimizaciones: atención MLA con compresión de caché KV (576 floats/token frente a 32.768), enrutador sigmoid estilo DeepSeek-V3, decodificación especulativa MTP nativa con cabeza int8, kernels de multiplicación entera con AVX2, y un conversor FP8→int4 que descarga el checkpoint original shard a shard sin necesidad de tener los 756 GB completos en disco.
En el equipo de desarrollo (12 núcleos, 25 GB de RAM y un NVMe bajo WSL2 con ~1 GB/s de lectura aleatoria) colibrì alcanza ~0,05–0,1 tokens/s en frío; con caché caliente, expertos anclados en RAM y MTP la latencia mejora notablemente. El proyecto incluye una caché de aprendizaje que registra qué expertos usa el usuario y los fija automáticamente en la RAM libre, de modo que el motor se vuelve más rápido con el uso. La herramienta se distribuye como código abierto en GitHub y ofrece un modelo GLM-5.2 preconvertido a int4 en Hugging Face para saltarse la conversión.