Un desarrollador ha conseguido ejecutar un modelo de lenguaje autoregresivo en un BBC Micro con procesador MOS 6502, un microprocesador de 8 bits lanzado en 1975 que equipó máquinas como el BBC Micro y el Apple II. La restricción principal es la memoria disponible: apenas 25 KB de espacio de usuario, repartidos entre 9 KB de código de inferencia y 13 KB de pesos del modelo.
El autor entrena el modelo en un MacBook, lo compila a código de 6502 con la cadena de herramientas CC65 y lo transfiere al BBC Micro mediante PlayUEF y un cable casero de 3,5 mm a cinta, que hace creer al ordenador que está escuchando una unidad de casete. El flujo de trabajo se valida en los emuladores sim65 y jsbeeb antes de ejecutar en el hardware real, e incluye un enlace web para probarlo en el navegador sin instalar nada.
Para lidiar con las limitaciones del procesador —sin multiplicación nativa y solo operaciones enteras de 8 bits— el proyecto adopta BitNet, que cuantiza los pesos al conjunto ternario {-1, 0, +1}. Esto reduce las multiplicaciones a sumas y restas y permite empaquetar cuatro parámetros por byte, alcanzando 52.000 parámetros en 13 KB. El vocabulario se limita a 26 letras más el espacio.
En lugar de atención, se emplea Mamba como capa recurrente, ya que mantiene un estado de tamaño fijo y evita el crecimiento de la caché KV que volvería inviable la inferencia en 32 KB de RAM. El artículo descarta las GRU por la inestabilidad de gradientes propia de la cuantización ternaria y detalla la arquitectura, el entrenamiento con estimador de paso recto y la cabeza del modelo en int4. El resultado es un sistema capaz de generar texto coherente a nivel de letras en un ordenador de hace casi medio siglo.