open_rknpu2_lm_infer es un motor de inferencia de modelos de lenguaje de gran escala (LLM) de código abierto diseñado específicamente para la unidad de procesamiento neuronal (NPU) RK3588. Su objetivo principal es superar las limitaciones de rendimiento y precisión de los SDK comerciales de los fabricantes, ofreciendo una alternativa flexible y auditables para desarrolladores y entusiastas de la IA.
El proyecto destaca por su optimización técnica mediante el autotuning, el enrutado heterogéneo y la ejecución sin copias de datos, lo que permite alcanzar velocidades de inferencia un 50% superiores a las del SDK rknn-llm del fabricante. En pruebas con el modelo Qwen3-4B, la herramienta reduce el tiempo de generación de 55,4 segundos a 15,6 segundos para un contexto de 3.800 tokens. Además, la implementación de cuantización mixta W4/W8 reduce la memoria RAM en comparación con la cuantización W8A8 estándar, manteniendo una precisión ligeramente superior en métricas de perplexidad.
La arquitectura del motor se basa en la librería de operadores RKNPU2 de código abierto, lo que permite ejecutar todo el pipeline de inferencia sin dependencias propietarias. Esto facilita el estudio del código, la optimización manual y la adición de soporte para nuevos modelos. La herramienta incluye un binario único que proporciona una interfaz de línea de comandos (CLI), una interfaz de usuario en terminal (TUI) y una API compatible con OpenAI, soportando funciones como streaming, llamadas a funciones y caché de prefijos. El proyecto está licenciado bajo AGPL-3.0-only y está diseñado para funcionar en placas Linux RK3588 sin necesidad de compilación previa, utilizando Rust para el núcleo y C para la interfaz con la NPU.