Este repositorio de GitHub, creado por Andrej Karpathy, presenta un enfoque innovador para la investigación en inteligencia artificial: la 'autoresearch'. En lugar de la investigación tradicional, donde humanos modifican el código, este sistema permite a agentes de IA experimentar y optimizar modelos de lenguaje de forma autónoma. La idea central es proporcionar a un agente de IA un entorno de entrenamiento de LLM (Large Language Model) simplificado y dejarlo que modifique el código, entrene por un tiempo limitado (5 minutos), evalúe los resultados y repita el proceso. Esto genera un registro de experimentos y, con suerte, un modelo mejorado.
¿Cómo funciona? El sistema se basa en tres archivos principales: prepare.py (preparación de datos y utilidades de ejecución, no modificado), train.py (el archivo que el agente de IA edita, conteniendo el modelo, el optimizador y el bucle de entrenamiento) y program.md (instrucciones para el agente). El agente, utilizando un LLM como Claude o Codex, recibe instrucciones en program.md y modifica train.py para experimentar con diferentes arquitecturas, hiperparámetros y optimizadores. La métrica de evaluación es val_bpb (bits por byte en el conjunto de validación), donde valores más bajos indican un mejor rendimiento.
Aplicaciones y Casos de Uso: Este enfoque es ideal para investigadores de IA que buscan automatizar el proceso de experimentación y optimización de modelos de lenguaje. Permite explorar una gran cantidad de configuraciones rápidamente, identificando potencialmente mejoras que un humano podría pasar por alto. Aunque el repositorio está diseñado para una sola GPU, el concepto puede extenderse a clústeres de computación más grandes.
Consideraciones y Limitaciones: El sistema está deliberadamente simplificado y requiere una GPU NVIDIA. La duración fija de cada entrenamiento (5 minutos) limita la comparabilidad de los resultados entre diferentes plataformas de hardware. Además, el código es un prototipo y el soporte futuro es incierto. La naturaleza auto-modificable del código hace que la depuración y el entendimiento del proceso sean más difíciles para los humanos. Sin embargo, la simplicidad y el enfoque en un solo archivo de modificación facilitan la revisión y la comprensión de los experimentos. El repositorio sirve como punto de partida para explorar la autoresearch y puede ser adaptado y ampliado por otros investigadores.