Un ingeniero independiente, Hugo Vergnes, ha entrenado desde cero un modelo de lenguaje de 3.848 millones de parámetros (llamado little-lm) que alcanza 0,384 en la prueba CORE, supera a GPT-2 por un margen amplio y se acerca a GPT-2 en cobertura de comprensión. El entrenamiento se completó en 43 horas sobre 8 GPU Nvidia B200 alquiladas, con un coste total de 998 dólares y 65.000 millones de tokens consumidos. El proyecto se inspira en nanochat, de Andrej Karpathy, y nace con un objetivo claro: demostrar que una persona sola, con unos pocos miles de dólares, puede entrenar un modelo de tamaño intermedio y extraer conclusiones útiles sobre todo el pipeline.
La arquitectura, de tipo Llama, combina normalización RMSNorm, codificación posicional RoPE, atención grouped-query con 24 cabezas de consulta y 8 de clave-valor, MLP con activación relu², QK-norm, softcap de logits y embeddings de valor estilo ResFormer. Estos últimos representan el 19% de los parámetros totales.
El artículo detalla con rigor la infraestructura (un framework dirigido por configuración YAML con componentes autorregistrados), los fracasos previos (un modelo de 858M entrenado con AdamW y decaimiento cosino que rindió peor que GPT-2 124M), y las cinco decisiones que cerraron la brecha: un calendario de aprendizaje trapezoidal con enfriamiento lineal, Muon para parámetros matriciales y AdamW para el resto, el conjunto de datos ClimbMix en lugar de FineWeb-Edu, entrenamiento en FP8 con escalado dinámico y alineación del vocabulario a múltiplos de 64, y reducción del contexto a 1.024 tokens. La ejecución mantuvo un 92% de actividad de los SM y un ~25% de MFU sobre FP8 denso. El texto incluye tablas de progresión paso a paso, comparativas con GPT-2 y nanochat, y reflexiones sobre economía de la computación, observabilidad del entrenamiento y autoría técnica individual.