La creciente atención hacia los modelos Bonsai de PrismML, basados en cuantización a 1 bit y pesos ternarios, reaviva el debate sobre cómo ejecutar modelos de lenguaje de gran tamaño directamente en dispositivos móviles. Para alcanzar escalas de 27 000 millones de parámetros en un teléfono se necesita cuantización extrema, pero el cuello de botella ya no es solo el almacenamiento en RAM, sino el ancho de banda de la memoria LPDDR, que obliga a transferir gigabytes de datos por cada token generado, con el consiguiente aumento de temperatura en la NPU y de consumo de batería.
Ante esa limitación, el autor cuestiona el paradigma de mover los datos hacia la unidad de cómputo y propone ejecutar la inferencia de forma nativa dentro de la propia memoria DRAM. Para ello ha desarrollado CaSA, una arquitectura que realiza inferencia de LLMs ternarios directamente en chips DRAM comerciales (COTS) mediante técnicas de charge-sharing, eludiendo por completo el bus de memoria.
El proyecto se presenta como el complemento hardware de la cuantización software: mientras esta reduce el tamaño de los pesos, CaSA aporta el sustrato físico necesario para que la inferencia no dependa de costosos traslados de datos entre memoria y procesador. El código está disponible en el repositorio de GitHub del autor.