El aprendizaje por refuerzo (RL) tradicional se enfrenta a una limitación significativa: descarta la mayor parte de la información valiosa que los evaluadores proporcionan. En lugar de aprovechar la retroalimentación detallada, el RL la comprime en una única puntuación (recompensa), lo que obliga al algoritmo a aprender a través de una correlación estadística con acciones a lo largo de múltiples intentos. Esto es análogo a un panadero que recibe solo una calificación numérica (4/5) después de que un cliente prueba un pastel, sin información sobre qué aspectos le gustaron o qué se podría mejorar. La falta de retroalimentación específica dificulta la identificación de las causas de éxito o fracaso, lo que lleva a una exploración ineficiente y a un mayor número de intentos para lograr el resultado deseado.
Esta situación se ha descrito como "succionar la supervisión a través de una pajita", ya que la información rica generada durante las ejecuciones (registros de herramientas, razonamiento intermedio, rastros de errores) se reduce a una única recompensa escalar. Este cuello de botella es especialmente problemático en tareas complejas como la optimización de modelos de lenguaje (LLM), donde cada ejecución puede durar minutos y generar grandes cantidades de datos.
Una alternativa emergente es utilizar directamente la retroalimentación rica para guiar la mejora del modelo, evitando el cuello de botella de la recompensa escalar. Esto se puede lograr a través de dos enfoques principales: métodos basados en la crítica (o 'text gradient'), donde el modelo recibe críticas textuales sobre sus errores y sugerencias de mejora, y métodos evolutivos, que mantienen una población de soluciones y utilizan modelos de lenguaje para generar variaciones y seleccionar las mejores.
Un ejemplo concreto es la optimización de fármacos, donde se busca encontrar moléculas que se unan a una proteína diana. En lugar de solo recibir una puntuación de afinidad de unión, los evaluadores pueden proporcionar un análisis detallado de las propiedades moleculares, explicando por qué una molécula es mejor que otra. Esta información permite a los investigadores identificar áreas específicas de mejora y diseñar nuevas moléculas con mayor probabilidad de éxito. El trabajo reciente, como 'Feedback Descent', demuestra que este enfoque, que aprovecha la retroalimentación textual, supera a los métodos de RL tradicionales en dominios desafiantes como el diseño molecular y la optimización de prompts, abriendo nuevas vías para el aprendizaje más eficiente y dirigido.