PS4 ejecuta modelo de IA de 9.000 millones de parámetros a 43 tokens/s

Fuentes: PS4 ejecuta modelo de IA de 9.000 millones de parámetros a 43 tokens/s

La consola PlayStation 4, lanzada en 2013, ha demostrado su capacidad para ejecutar un modelo de inteligencia artificial de 9.000 millones de parámetros a un ritmo de 43 tokens por segundo. Este logro, realizado mediante la aplicación de código abierto Garlic LLM, permite el funcionamiento del modelo Qwen3.5 de forma totalmente offline. A pesar de que el hardware de la PS4 original es modesto, con una CPU Jaguar, 8 GB de memoria GDDR5 y una GPU Radeon GCN 2.0, la optimización técnica permite la ejecución. El modelo, que requiere 18 GB en FP16, se reduce a 4,5 GB mediante cuantización mixta de 3 y 4 bits, encajando en la memoria libre disponible de la consola. Para lograr este rendimiento, se han desarrollado kernels personalizados para la arquitectura GCN y se utilizan búferes de comandos PM4 de bajo nivel para enviar cargas de trabajo directamente al núcleo gráfico. Además, se emplea descodificación especulativa y predicción multitoken para acelerar la generación de texto. El rendimiento varía según la tarea: puede descender a 22 tokens por segundo en generación de texto a voz, aunque sigue siendo utilizable. En la variante PS4 Pro, el rendimiento pico alcanza los 56 tokens por segundo. La instalación de Garlic LLM requiere entre 6 GB y 12 GB de espacio libre, dependiendo del método de instalación utilizado.