Un desarrollador estadounidense logró ejecutar el modelo Gemma 4 26B de Google, un mixture-of-experts de código abierto con 26.000 millones de parámetros, en un servidor HP StoreVirtual reconvertido con dos Xeon E5-2690 v2 (Ivy Bridge, 2013), sin tarjeta gráfica y por menos de 300 dólares. El sistema alcanza unas 5,2 tokens por segundo en decodificación y 16 en evaluación de prompts, aproximadamente velocidad de lectura.
El proyecto partió de una entrada en el blog Point Free que relataba la ejecución de Gemma 4 en un Xeon de 2016, pero el código no compilaba en hardware anterior. El autor, que admite no ser programador de C++, recurrió al modelo Claude para diagnosticar el problema: el fork ik_llama.cpp asume como mínimo el conjunto de instrucciones AVX2, inexistente en Ivy Bridge. Con ayuda de la IA, reescribió rutas de compilación para que las operaciones críticas funcionen con AVX1 y corrigió un error oculto en el cálculo de la red feed-forward del modelo MoE, que provocaba que el estado oculto se corrompiera con valores no inicializados. Como resultado, el modelo generaba texto multilingüe sin sentido pero determinista.
El parche está publicado como pull request en GitHub. El autor defiende que ejecutar modelos locales en hardware antiguo es una alternativa viable a las API de pago y una demostración de que la competencia con la IA reside en saber plantear problemas y verificar respuestas.