mini-AGI es un modelo de lenguaje de nivel de byte diseñado para el aprendizaje continuo, capaz de ensamblar su propia arquitectura y entrenarse desde cero en una GPU de consumo con 8 GB de VRAM. A diferencia de los modelos tradicionales, este sistema no requiere una tarjeta gráfica potente ni un servidor dedicado, ya que almacena sus pesos en el disco duro y los carga en la memoria gráfica solo cuando se necesitan, limitando el consumo de memoria por el espacio libre en el disco en lugar de por la capacidad de la VRAM.
El proyecto destaca por su capacidad de aprender de cualquier flujo de datos sin olvidar lo aprendido previamente, un problema conocido como el olvido catastrófico. La arquitectura utiliza un bloque recurrente que se aplica hasta 24 veces por carácter, seleccionando dinámicamente expertos de un pool compartido mediante enrutamiento suave. Este diseño permite que el modelo genere texto y lo lea mediante el mismo camino de código, eliminando la necesidad de un ajuste fino separado.
mini-AGI está dirigido a usuarios con hardware modesto que deseen entrenar modelos personalizados. Actualmente, se trata de un experimento de nivel 'toy' con aproximadamente 243 millones de caracteres procesados. Las capacidades están limitadas por el hardware disponible y la calidad de los datos, pero el objetivo es demostrar que el aprendizaje continuo es viable en equipos de consumo. Los pesos del modelo no están publicados aún, ya que el entrenamiento sigue en curso y requiere varias semanas para completar la primera pasada sobre el corpus de datos.