Local_AI_esp32 es un proyecto de código abierto que implementa un modelo de lenguaje entrenado desde cero y ejecutable de forma offline en microcontroladores ESP32-S3. El sistema permite la interacción mediante teclado táctil en la placa XIAO ESP32-S3 o a través de conexión USB en el DevKit, ofreciendo una alternativa autónoma a las soluciones en la nube.
El modelo utiliza una arquitectura Transformer de solo decodificador con 12 capas y un tamaño de capa oculta de 448. Cuenta con 30,460,864 parámetros independientes y un tokenizador SentencePiece de 6,144 tokens. La implementación está optimizada para el hardware, con un contexto de 64 tokens y una capacidad de generación de hasta 24 tokens por respuesta. En pruebas registradas, el DevKit alcanzó una velocidad de generación de aproximadamente 1.41 tokens por segundo, mientras que la placa XIAO operó a 0.742 tokens por segundo.
El proyecto incluye los pesos entrenados y el tokenizador, eliminando la necesidad de claves API o procesos de entrenamiento adicionales. Sin embargo, el autor advierte que las capacidades son limitadas: el modelo puede generar saludos cortos y respuestas conversacionales básicas, pero no garantiza la precisión en cálculos aritméticos o la coherencia en respuestas complejas. El repositorio detalla las instrucciones para compilar el firmware y configurar el almacenamiento en Flash y PSRAM, así como las especificaciones técnicas de la tarjeta de modelo, incluyendo la distribución de memoria y los límites de rendimiento.