smolmaxxing es un proyecto de software diseñado para ejecutar los modelos de lenguaje más grandes posibles en dispositivos con recursos limitados, como cajas de TV, routers y ordenadores de una sola placa. El sistema utiliza técnicas avanzadas de optimización, incluyendo kernels personalizados, gestión inteligente de la memoria y streaming de pesos desde el almacenamiento flash, para superar las limitaciones de hardware tradicionales.
El proyecto ha demostrado resultados significativos en un Xiaomi TV Box S (3ª generación) con procesador Amlogic S7D y 1,9 GB de RAM utilizable. En este equipo, se han logrado velocidades de generación de tokens de hasta 16,8 tok/s para modelos de 8B parámetros, superando en un 2,2 veces la velocidad de referencia. Además, se han logrado resultados de 7,7 tok/s para modelos de 2B y 5,2 tok/s para modelos densos de 8B, manteniendo la coherencia en respuestas de hasta 600 palabras. En un iPad Air de primera generación (2013) con procesador Apple A7, se ha logrado ejecutar un modelo de 1,7B parámetros a 24-26 tok/s, demostrando la viabilidad de la ejecución en hardware antiguo.
Las técnicas empleadas no están restringidas a un solo dispositivo. El proyecto incluye un motor de streaming de pesos compatible con cualquier dispositivo Linux o Android, y kernels de búsqueda de tabla (lookup-table) que requieren solo la instrucción NEON base, lo que permite su aplicación en cualquier chip ARM con soporte de punto doble. La documentación técnica detalla 160 experimentos específicos, analizando el impacto de cada optimización en el rendimiento y la calidad de salida, proporcionando una referencia técnica para el desarrollo de aplicaciones de IA en hardware embebido.
