Reconocimiento de voz en tiempo real en ESP32-P4 con 65,7M parámetros

El proyecto esp32-pie-asr implementa un sistema de reconocimiento de voz en tiempo real en el microcontrolador ESP32-P4, utilizando un transductor Zipformer2 de 65,7 millones de parámetros. A diferencia de las soluciones basadas en la nube, este sistema opera exclusivamente en el chip, aprovechando sus dos núcleos RISC-V de 400 MHz y las instrucciones SIMD PIE para procesar la señal de audio directamente desde el micrófono de la placa. El modelo, basado en Kroko, ha sido optimizado mediante pesos cuantizados a 2 y 4 bits, reduciendo el tamaño de la memoria de 71 MB a 26,65 MB, lo que permite su carga desde una tarjeta microSD en 2,9 segundos al arranque. En pruebas con el conjunto de datos LibriSpeech, el sistema alcanza una tasa de error de palabra (WER) del 4,34 % en el test-clean y del 10,26 % en el test-other, operando a 0,70 veces la velocidad real. La latencia media para finalizar una palabra es de aproximadamente 2 segundos. El firmware incluye además seis demostraciones de control por voz que permiten interactuar con dispositivos simulados en la pantalla, como aspiradoras robóticas o sistemas domóticos, utilizando reglas de palabras sin necesidad de modelos de lenguaje complejos. La arquitectura utiliza aritmética de enteros y kernels SIMD en ensamblador para garantizar la precisión bit a bit con respecto a las implementaciones en PC, manteniendo la memoria interna libre para el estado del sistema.