Proyecto tinyworldformer ejecuta juegos completos en Raspberry Pi Pico 2 W

Fuentes: tinyworldformer runs full games on Raspberry Pi Pico 2 W using neural networks

El proyecto tinyworldformer demuestra la viabilidad de ejecutar juegos completos en tiempo real en un Raspberry Pi Pico 2 W utilizando dos redes neuronales compactas. El sistema emplea un modelo de mundo basado en un transformador en bucle, con entre 26.000 y 131.000 parámetros, para predecir el siguiente cuadro y la recompensa, mientras que una red actor con 9.000 a 16.000 parámetros selecciona las acciones. Esta arquitectura permite que el microcontrolador procese el juego internamente, sin depender de la entrada de datos externos durante la ejecución.

El proyecto soporta cinco juegos clásicos: Breakout, Doom-lite, Flappy Bird, Pong y Pac-Man lite. Cada juego se implementa en aproximadamente cientos de líneas de código NumPy, renderizando el estado completo en una cuadrícula de tokens. La precisión del modelo varía según la complejidad del juego; por ejemplo, Flappy Bird alcanza un 100% de exactitud en los cuadros retenidos, mientras que Doom-lite obtiene un 83,6% debido a la naturaleza tridimensional de su vista en primera persona. El sistema utiliza cuantización a 8 bits para optimizar el consumo de memoria y la velocidad de procesamiento en el chip RP2350.

Además de la predicción estática, el proyecto incluye un agente de aprendizaje por refuerzo (stream-x) que permite al sistema aprender a jugar dentro de sus propios sueños generados. Los desarrolladores han implementado mecanismos de verificación rigurosos, comparando el estado del juego predicho con las reglas reales para detectar errores de lógica o estados imposibles. Este enfoque técnico ofrece una referencia valiosa para la implementación de modelos de mundo pequeños en hardware embebido, destacando la eficiencia de los transformadores en bucle frente a las arquitecturas apiladas tradicionales.