El objetivo de precisión mitiga el hackeo de recompensas en RL basado en rúbricas

Fuentes: Precision Objective Mitigates Reward Hacking in Rubric-based RL

El aprendizaje por refuerzo (RL) basado en rúbricas permite entrenar modelos en tareas no verificables, pero suele generar respuestas excesivamente verbosas y con errores factuales al priorizar la cobertura de la rúbrica sobre la precisión. Para resolver esta limitación, se presenta el método FORK, que optimiza simultáneamente la cobertura y una nueva métrica de precisión. Esta métrica exige que cada unidad de la respuesta del modelo sea necesaria y factualmente correcta, evaluada mediante créditos de necesidad impulsados por la rúbrica y un corrector de corrección factual. Los resultados experimentales demuestran que FORK supera a los métodos existentes de RL basado en rúbricas, logrando un rendimiento óptimo de Pareto que equilibra la cobertura de la rúbrica con la calidad general de la respuesta. En comparación con la recompensa basada únicamente en la recuperación, FORK mejora significativamente la precisión y reduce la longitud de la respuesta manteniendo una cobertura similar. Esto resulta en una tasa de victoria mucho mayor frente a la política base: por ejemplo, pasa del 10,6% al 68,0% en RubricHub-Medical y del 22,1% al 74,1% en HealthBench. Este enfoque técnico ofrece una vía para mejorar la calidad de las salidas de los modelos de IA en dominios donde la verificación directa es imposible, asegurando que la información proporcionada sea relevante y veraz.