El auge de los modelos de lenguaje grandes (LLMs) como Llama ha democratizado la inteligencia artificial, permitiendo a usuarios con menos recursos adaptar estos modelos a tareas específicas mediante técnicas como LoRA (Low-Rank Adaptation). LoRA funciona 'congelando' la mayor parte de los parámetros del LLM y entrenando solo un pequeño conjunto de parámetros adicionales, lo que reduce drásticamente los requisitos computacionales. Un problema emergente es cómo aprovechar al máximo la creciente cantidad de LoRAs disponibles en plataformas como Hugging Face Hub. Este artículo explora la idea de 'reciclar' estas LoRAs, es decir, combinarlas para mejorar el rendimiento en una tarea específica.
La investigación se centra en un conjunto de casi 1000 LoRAs pre-entrenadas para el modelo Llama 3.1 8B-Instruct. El estudio evalúa diferentes métodos para fusionar estas LoRAs, tanto adaptativos (que ajustan los pesos de cada LoRA en función de un conjunto de datos de entrenamiento) como no adaptativos. Los resultados son sorprendentes: si bien los métodos adaptativos sí mejoran el rendimiento en comparación con el modelo base, la mejora es limitada y a menudo comparable a la obtenida al entrenar una nueva LoRA desde cero utilizando los mismos datos de ajuste. Además, la investigación revela que la elección específica de las LoRAs a combinar parece ser menos importante de lo que se pensaba; incluso usar LoRAs con valores iniciales aleatorios produce resultados similares.
Esto sugiere que el beneficio de la fusión adaptativa de LoRAs podría no provenir de una transferencia de conocimiento positiva entre las LoRAs (es decir, que una LoRA enseñe algo útil a otra), sino más bien de un efecto de regularización. En otras palabras, la combinación de múltiples LoRAs podría estar ayudando a evitar el sobreajuste al modelo. Sin embargo, los autores confirman que la transferencia positiva sí es posible cuando se incluyen LoRAs altamente relevantes en el conjunto de combinación. En resumen, la investigación cuestiona la efectividad general de la fusión adaptativa de LoRAs recicladas, pero abre la puerta a una comprensión más profunda de cómo funcionan estos métodos y cómo optimizarlos. El código y los modelos entrenados están disponibles públicamente para facilitar la investigación futura.
Consideraciones: La investigación destaca que la simple fusión adaptativa de LoRAs no es una solución mágica para mejorar el rendimiento. Es crucial evaluar cuidadosamente la relevancia de las LoRAs a combinar y considerar la posibilidad de entrenar una nueva LoRA desde cero. Alternativas incluyen la selección más cuidadosa de LoRAs basadas en su contenido o el desarrollo de métodos de fusión más sofisticados que exploten mejor la información contenida en las LoRAs recicladas.