El repositorio 'awesome-llm-on-anything' documenta la ejecución de modelos de lenguaje de gran escala (LLM) en hardware local que carece de infraestructura comercial para su despliegue. La lista incluye desde computadoras personales de los años 80 y consolas de videojuegos hasta microcontroladores modernos, siempre bajo la condición estricta de que la inferencia se realice en el dispositivo físico, excluyendo clientes delgados o emuladores que dependen de servicios externos.
El documento actúa como referencia técnica para desarrolladores y entusiastas, detallando velocidades de inferencia reportadas por sus autores, aunque advierte que estos datos no son re-benchmarkados y varían según la cuantización y el modelo utilizado. Entre los ejemplos destacados se encuentran la Commodore 64, capaz de procesar un token cada ocho minutos, y la PlayStation 5 Slim, que ejecuta Qwen 3.5 9B a 55 tokens por segundo. También se documentan portes en consolas como la Nintendo Wii y la Nintendo Switch, así como en microcontroladores como el ESP32-S3 y el Raspberry Pi Pico.
La lista sirve como punto de partida para proyectos más ambiciosos, como el uso de un calculadora TI-83 conectada a un ESP32 o clientes de chat para sistemas operativos DOS. El proyecto fomenta la contribución de nuevos portes mediante solicitudes de cambio (PR), manteniendo una lista de dispositivos no documentados, como la PlayStation 2 o el Kindle, para futuras adiciones. Esta recopilación ofrece una visión panorámica de la viabilidad técnica de la IA local en hardware de nicho y retro.