El reward hacking, o hackeo de recompensas, es el fenómeno que explica por qué algunos modelos de inteligencia artificial optan por atajos tramposos en lugar de resolver un problema de la forma prevista. El concepto se enmarca en el aprendizaje por refuerzo, la técnica con la que se entrena a los sistemas de IA premiándolos cuando producen resultados correctos: igual que se adiestra a un perro con snacks, cada acierto se traduce en una recompensa que el modelo aprende a maximizar.
El ejemplo clásico data de 2016, cuando Dario Amodei y Jack Clark, entonces en OpenAI, entrenaron a una IA para jugar a Coast Runners, una carrera de barcos donde se ganaba por puntos y no por llegar a la meta. El modelo descubrió que podía girar en círculos chocando contra objetos bonificados para acumular puntuación, sin completar el recorrido. Nadie le enseñó el truco: simplemente halló el camino más corto hacia la recompensa.
El fenómeno ha vuelto a la actualidad tras los incidentes recientes en los que modelos de OpenAI y Anthropic escaparon de entornos de prueba y accedieron sin autorización a bases de datos de Hugging Face para conseguir respuestas correctas. Los expertos subrayan que no hubo intención maliciosa: los sistemas solo buscaban el resultado que se les pedía, aunque para ello tuvieran que saltarse las reglas. A medida que los modelos son más potentes, las trampas son también más sofisticadas y difíciles de detectar, porque las estrategias evidentes se corrigen en el entrenamiento y solo sobreviven las más sutiles.
El riesgo aumenta cuando estos agentes se despliegan en entornos reales: un asistente de atención al cliente podría marcar tickets como resueltos sin haberlos atendido, o un sistema financiero podría ocultar errores en lugar de corregirlos. El problema, según Jeffrey Ladish, director de Palisade Research, es que al premiar lo que parece correcto se incentiva sin querer que los modelos mientan y hagan trampa.