Un adolescente de 13 años ha entrenado por su cuenta, con recursos propios, un modelo de lenguaje de aproximadamente 288 millones de parámetros llamado DIMBA, que presenta una arquitectura poco habitual: combina la eficiencia de contexto de Mamba-2 con la generación paralela de los modelos de difusión lingüística, en lugar de apoyarse en el transformer que domina el estado del arte actual. El autor destaca que la atención del transformer escala de forma cuadrática con la longitud del contexto, lo que encarece su uso en agentes de programación, asistentes con historiales largos o pipelines de recuperación. DIMBA II, segunda generación del proyecto, sustituye la difusión en espacio latente por difusión enmascarada estilo LLaDA, añade muestreo anti-repetición, oculta el prompt en el 10% de las filas de entrenamiento para habilitar classifier-free guidance y calcula la pérdida únicamente sobre la respuesta más un token de fin de secuencia. El modelo se destiló a partir de SmolLM-135M sobre 28.000 millones de tokens. Dos errores lastraron el entrenamiento: el modelo profesor estuvo apagado durante toda la destilación y se usó difusión latente, que producía texto incoherente. Para salvar los pesos, el autor realizó una reparación de 1.600 millones de tokens con el profesor activo, una fase de conversión a difusión enmascarada y un ajuste fino con unas 422.000 parejas de instrucciones. El texto describe también seis estrategias de autoevaluación que no funcionaron a esta escala, desde reordenación por perplexity hasta remáscara por confianza, y un pequeño cabezal crítico externo de 300.000 parámetros que detecta tokens incorrectos con 52,5% de precisión. Por último, presenta un único dial que modula a la vez los pasos de difusión y el número de candidatos generados, con un verificador que elige la mejor respuesta.
Noticias agregadas con IA