RLHF: Guía para el Aprendizaje con Retroalimentación Humana

Este documento presenta un libro introductorio sobre el aprendizaje por refuerzo con retroalimentación humana (RLHF), una técnica crucial para el despliegue de sistemas de aprendizaje automático de última generación. El libro explora los orígenes de RLHF, desde la literatura reciente hasta la convergencia de campos como la economía, la filosofía y el control óptimo. Cubre en detalle cada etapa del proceso de optimización, incluyendo el ajuste de instrucciones, el entrenamiento de modelos de recompensa, el muestreo de rechazo, el aprendizaje por refuerzo y la alineación directa. Finalmente, aborda temas avanzados y preguntas abiertas en el campo, como el uso de datos sintéticos y la evaluación.