La ausencia de un commons de datos para el postentrenamiento de IA

Fuentes: The absence of a posttraining data commons for AI

El artículo argumenta que, a diferencia del preentrenamiento de los modelos de lenguaje grandes (LLM), que se benefició de la abundancia de datos públicos como Wikipedia, ArXiv y Common Crawl, no existe un 'commons' de datos equivalente para la fase de postentrenamiento. Mientras que el preentrenamiento consume documentos, el postentrenamiento requiere tareas de aprendizaje por refuerzo (RL) que son abstracciones estáticas y deterministas, a diferencia de las actividades humanas dinámicas y efímeras.

El texto explica que la transición de la cultura oral a la escrita permitió la durabilidad del conocimiento, pero la codificación de acciones humanas en tareas de RL las convierte en objetos congelados. Aunque el software ha creado un commons de artefactos duraderos, convertir estos repositorios en tareas ejecutables para RL es complejo. Se requiere reconstruir el 'mundo' (entorno), las herramientas, la intención y un evaluador. El análisis cita el caso de SWE-bench, donde solo una fracción de las solicitudes de extracción de código (PR) de GitHub podían mapearse correctamente a este marco, debido a la falta de información sobre la intención o el resultado del intento. Esto ilustra la dificultad cualitativa de transformar el software en datos de postentrenamiento, un proceso que se asemeja más a la fabricación que a la curación.