TyphoonLLM ejecuta inferencia local de LLM en PlayStation Vita

Fuentes: TyphoonLLM enables fully local LLM inference on PlayStation Vita

TyphoonLLM es una aplicación de conversación en línea que permite ejecutar modelos de lenguaje grandes (LLM) de forma completamente local en la consola PlayStation Vita. El proyecto, desarrollado por daivarsi, integra el modelo LFM2.5-230M de Liquid AI a través de un runtime nativo ARMv7, eliminando la dependencia de la nube o APIs externas. Esta herramienta surge como evolución de experimentos previos como VitaLM y WoozyLLM, diseñada para hardware con capacidad de homebrew y jailbreak.

La aplicación opera mediante una adaptación procedural de LoRA de rango 4 y un almacenamiento de pesos en Q8 group64, lo que permite una inferencia eficiente en el dispositivo. El sistema utiliza kernels de convolución y normas en punto flotante de 32 bits (FP32) junto con activaciones cuantizadas. En términos de rendimiento, el modelo ocupa 232,90 MiB, con tiempos de carga de 18,866 segundos y una velocidad de decodificación de entre 1,66 y 1,91 piezas por segundo. La interfaz incluye soporte para teclado nativo, entrada táctil y botones, además de una base de datos de referencia pequeña para cálculos deterministas separados de la generación neuronal.

El proyecto documenta detalladamente su arquitectura, incluyendo el uso de NEON ARMv7 y un sistema de trabajadores persistente. Sin embargo, se advierte sobre limitaciones significativas: el modelo puede inventar hechos, el contexto está limitado y la cobertura de Unicode es restringida. La versión estable actual (03.05) mantiene estas restricciones documentadas, ofreciendo una experiencia de chat con sesiones acotadas y opciones de reinicio de estado. La instalación requiere la transferencia manual de los archivos de modelo y tokenizador a través de VitaShell, sin que el paquete de instalación incluya los pesos por defecto.