PS5LM es una aplicación de código abierto que permite ejecutar modelos de lenguaje de gran escala (LLM) directamente en la consola PlayStation 5, utilizando su tarjeta gráfica RDNA 2. El proyecto, basado en llama.cpp, transforma la consola en un servidor de modelos privado que no requiere PC ni nube, ofreciendo privacidad total y control total sobre los datos. La herramienta soporta arquitecturas de cualquier tipo y niveles de cuantización compatibles con llama.cpp, incluyendo modelos de imagen y modelos de decisión.
El sistema opera mediante el backend Vulkan de llama.cpp, aprovechando 11,4 GB de memoria compartida. PS5LM sirve los modelos a través de la API estándar de OpenAI (/v1/chat/completions) y la de Anthropic (/v1/messages), permitiendo el uso de clientes como Claude Code. Además, integra modelos de decisión (como d1 Omni 600M) que responden a la API /v1/systemone de Ollaya, proporcionando respuestas tipadas con probabilidades calibradas en fracciones de segundo.
La interfaz incluye una página de chat en la televisión que muestra el flujo de la conversación en tiempo real, así como un panel de diagnóstico que monitorea la temperatura, el consumo de energía y la carga de CPU y GPU. El proyecto incluye un planificador automático que selecciona el modelo y la configuración de caché óptima según la memoria disponible. PS5LM es compatible con firmware de PS5 entre 7.00 y 13.60, requiere un PS5 jailbroken y depende de payloads específicos como kstuff-lite y ShadowMountPlus para funcionar correctamente. Los modelos se descargan desde Hugging Face y se almacenan en el almacenamiento interno o en unidades USB.