software · 5 menciones
lora-speedrun es un proyecto de código abierto que propone una arena pública para comparar técnicas de ajuste fino con LoRA (Low-Rank Adaptation) en condiciones idénticas y verificables. La tarea está fijada: afinar el modelo base Qwen2.5-1.5B con un adaptador de menos de 30 millones de parámetros e
**Xiaomi ha presentado MiMo-V2.5-Pro-UltraSpeed, una variante de su modelo MoE de 1,02 billones de parámetros (42B activos) capaz de generar hasta ~1200 tokens por segundo sobre un único nodo de 8 GPUs comerciales.** El hito no es solo una cifra de marketing: es la primera vez que un modelo de esca
Este artículo describe el proceso de construir, desde cero, un bucle de entrenamiento de aprendizaje por refuerzo (RL) para modelos de lenguaje grandes, aplicándolo al algoritmo Dr. GRPO sobre el modelo Qwen2.5-0.5B-Instruct y la tarea GSM8K, con una sola GPU A10G. El punto de partida es una observa
I-DLM (Introspective Diffusion Language Models) representa un avance significativo en el campo de los modelos de lenguaje, abordando una limitación clave de los modelos de difusión: su inferior rendimiento en comparación con los modelos autoregresivos (AR) tradicionales. Los modelos de difusión, a d
Este artículo explora una técnica innovadora para mejorar el razonamiento de los modelos de lenguaje, inspirada en el éxito de algoritmos de búsqueda en árbol como AlphaZero en juegos de mesa. La idea central es aplicar la 'Tree Search Distillation' (Destilación de Búsqueda en Árbol) a modelos de le
