GPT en C: modelo más rápido para dispositivos

Un desarrollador ha creado una implementación en lenguaje C99 de un modelo GPT de estilo 'character-level', denominado MicroGPT-C, que permite un entrenamiento y generación de texto significativamente más rápidos que las implementaciones en Python. El proyecto, publicado en GitHub, busca ofrecer una alternativa minimalista y comprensible a modelos como ChatGPT, permitiendo a estudiantes, ingenieros e investigadores entender el funcionamiento interno de la atención, la retropropagación y el optimizador Adam sin la complejidad de frameworks como PyTorch. MicroGPT-C puede entrenar un modelo en tan solo 20 milisegundos y generar nombres en microsegundos, requiriendo menos de 50 KB de RAM y funcionando en microcontroladores sin dependencias de runtime. Las pruebas demuestran una aceleración de hasta 4.600 veces en el tiempo de entrenamiento y 740 veces en el tiempo de inferencia en comparación con la implementación original en Python. La versión cuantizada INT8 reduce aún más el tamaño de la memoria (aproximadamente 8 veces) con una ligera penalización en velocidad y precisión, haciéndola ideal para dispositivos con recursos limitados. El código fuente es de código abierto bajo licencia MIT.