Investigadores han descubierto que LoRA (Low-Rank Adaptation), una técnica popular para ajustar grandes modelos de lenguaje (LLMs), se comporta de manera diferente a lo esperado cuando interactúa con el weight decay (decaimiento de pesos). Mientras que el ajuste fino completo regulariza los pesos hacia cero, LoRA los regulariza hacia la matriz de pesos Frozen original del modelo base. Esta diferencia fundamental significa que, incluso con mayores recursos computacionales, LoRA no converge gradualmente hacia los resultados del ajuste fino completo, ya que resuelve un problema de optimización implícito distinto. Los autores proponen una modificación técnica para corregir este comportamiento, permitiendo que la matriz adaptada decaiga hacia cero en lugar de hacia los pesos originales.
Investigación revela que LoRA регуляризует hacia pesos originales del modelo
