MEND optimiza el entrenamiento de modelos de flujo con aprendizaje por refuerzo

Fuentes: MEND optimizes flow model training via reinforcement learning and proximal velocity matching

MEND es un método de aprendizaje por refuerzo diseñado para mejorar modelos de flujo mediante el ajuste posterior de recompensas. A diferencia de las técnicas existentes, que suelen reponder las muestras del modelo bajo una penalización KL o propagan el gradiente de la recompensa sin verificar la eficiencia del movimiento, MEND utiliza el emparejamiento de velocidad proximal. Este enfoque limita las recompensas dentro de cada grupo de prompts, evitando mover muestras que ya obtienen puntuaciones altas. Para las muestras por debajo del umbral, propone movimientos a lo largo del gradiente de la recompensa y los acepta solo si el ganancia de recompensa limitada supera un precio de desplazamiento cuadrático. Posteriormente, el modelo regresa a los objetivos de velocidad resultantes, eliminando términos KL, modelos de referencia congelados o pesos de ventaja. En pruebas comparativas, MEND supera a Flow-GRPO en cinco de seis evaluadores en solo 100 actualizaciones, frente a las aproximadamente 4.000 requeridas por Flow-GRPO para alcanzar la misma distancia a las imágenes del modelo base. Bajo un protocolo de presupuesto igual, MEND supera a ReFL y DiffusionNFT en todas las actualizaciones evaluadas en cuatro recompensas de entrenamiento, logrando una puntuación PickScore de 24.03 frente a 23.92 y 23.43 respectivamente. Un experimento de 300 actualizaciones con tres recompensas también superó a un modelo de DiffusionNFT de cinco recompensas en todas las métricas. MEND es general y fácil de adoptar, aplicándose a cualquier esqueleto de flujo con una recompensa diferenciable.