lora-speedrun es un proyecto de código abierto que propone una arena pública para comparar técnicas de ajuste fino con LoRA (Low-Rank Adaptation) en condiciones idénticas y verificables. La tarea está fijada: afinar el modelo base Qwen2.5-1.5B con un adaptador de menos de 30 millones de parámetros entrenables sobre el conjunto GSM8K, y alcanzar al menos un 57 % de exact-match en su test, con evaluación 0-shot y decodificación greedy. El hardware también es fijo: una sola GPU NVIDIA L40S de 48 GB ejecutada en un entorno aislado de Modal, sin red. La métrica es el tiempo real de entrenamiento, medida de pared a pared.
Cualquier persona puede competir o verificar registros en ese mismo hardware gracias a los créditos mensuales gratuitos de Modal. Cada nuevo récord debe reejecutarse tres veces con semillas distintas y superar el umbral en las tres; solo entonces se acepta y se publica un informe. Una revisión automática de seguridad con Claude analiza el código enviado en busca de intentos de exfiltración, manipulación del arnés o contacto con el conjunto de prueba, y un mantenedor lanza la verificación definitiva con el comando /verify.
El récord actual está en 6 minutos y 5 segundos, logrado por el autor del repositorio mediante empaquetado de secuencias y enmascarado de pérdida solo sobre las completaciones, en dos épocas, usando la misma configuración LoRA que la línea base, pero reduciendo el tiempo a casi la mitad y mejorando la precisión al 61,1 %. El repositorio, publicado bajo licencia MIT, invita a la comunidad a explorar DoRA, rsLoRA, PiSSA, LoRA+, NEFTune, núcleos Unsloth o Liger, torch.compile o cuantización QLoRA, entre otras técnicas, para rebajar esa marca.