El aprendizaje continuo representa uno de los mayores desafíos en el desarrollo de modelos de inteligencia artificial. Actualmente, los sistemas de IA pueden aprender nuevas tareas, pero suelen olvidar lo que sabían anteriormente este fenómeno se conoce como 'olvido catastrófico'. El artículo presenta Self-Distillation Fine-Tuning (SDFT), un método que permite a los modelos aprender nuevas habilidades sin perder las previamente adquiridas.
El problema principal radica en que las aproximaciones tradicionales tienen limitaciones importantes. El aprendizaje por refuerzo requiere funciones de recompensa explícitas que frecuentemente no están disponibles, mientras que el ajuste supervisado (SFT) funciona con datos recopilados previamente y no es óptimo para el aprendizaje continuo. SDFT resuelve esta limitación mediante un enfoque ingenioso: el modelo utiliza sus propias predicciones como señal de entrenamiento.
El método emplea 'in-context learning' (aprendizaje en contexto), donde el modelo condicionado por ejemplos de demostración actúa como su propio maestro. En lugar de aprender exclusivamente de expertos externos, el sistema genera sus propias señales de entrenamiento 'on-policy' (durante el proceso de decisión), lo que permite preservar capacidades previas mientras adquiere nuevas habilidades. Los experimentos muestran que SDFT supera consistentemente al ajuste supervisado tradicional, logrando mayor precisión en nuevas tareas mientras reduce significativamente el olvido catastrófico.
Las aplicaciones son diversas: desde asistentes de IA que necesitan acumular múltiples habilidades a lo largo del tiempo, hasta sistemas de recomendación que deben adaptarse a nuevas preferencias de usuarios sin degradar recomendaciones anteriores. También resulta útil en robótica, donde los robots deben aprender nuevas tareas sin perder las ya dominadas.
Entre las consideraciones importantes está que el método requiere que el modelo tenga capacidad de in-context learning, lo cual limita qué arquitecturas pueden beneficiarse. Además, aunque reduce el olvido catastrófico, no lo elimina por completo. Las alternativas incluyen técnicas como regularización de pesos o replay de experiencia, pero SDFT destaca por su simplicidad y efectividad sin necesidad de funciones de recompensa externas.