Un segundo matemático acusa a OpenAI de falta de transparencia sobre sus datos de entrenamiento

Fuentes: Mathematicians want proof OpenAI didn't use their work, heise.de

Un segundo matemático ha salido a la palestra para acusar a OpenAI de falta de transparencia y de un comportamiento "deshonesto" respecto al origen de los datos con los que entrena sus modelos de inteligencia artificial. Se trata de Andreas Thom, profesor de Geometría en la Universidad Técnica de Dresde, quien sospecha que conversaciones no publicadas que mantuvo con ChatGPT pudieron haber alimentado los sistemas de la compañía y contribuido a uno de los avances matemáticos anunciados por la empresa a principios de agosto.

El caso se suma al escándalo desatado días antes por Tristan Buckmaster, profesor de la Universidad de Nueva York, quien cuestionó públicamente si el modelo de OpenAI se había beneficiado de su trabajo en el problema del Milenio de Navier-Stokes —que describe el movimiento de fluidos y por el cual OpenAI anunció una solución el pasado mes—. Buckmaster investigaba el asunto a título personal junto al investigador de Anthropic Levent Alpöge.

El detonante de las sospechas de Thom fue el anuncio de OpenAI sobre los llamados "grupos no sóficos", un área de la teoría de grupos en la que él y su colega Gábor Kun, del Instituto Alfréd Rényi de Budapest, son figuras de referencia. Thom subraya que la estrategia seguida por el modelo no era ni la más obvia ni la más prometedora en ese momento, lo que le llamó profundamente la atención: "El dominio detallado de nuestras técnicas por parte de OpenAI" resultaba, a su juicio, difícil de explicar sin acceso a trabajo no publicado.

Ante la preocupación, Thom envió correos electrónicos a los investigadores de OpenAI Sébastien Bubeck y Mark Sellke —este último también estadístico en Harvard— preguntando si sus interacciones con ChatGPT habían formado parte de los datos de entrenamiento o si habían estado disponibles para el sistema de razonamiento durante la búsqueda de la demostración. Según Thom, Sellke respondió únicamente: "En lo que respecta a sus conversaciones con ChatGPT: eso no ocurrió".

Esa respuesta, afirma el matemático, sólo abordaba el acceso directo del sistema a las conversaciones, pero no aclaraba si los contenidos habían podido incorporarse a los vastos conjuntos de datos utilizados para entrenar y mejorar los modelos. "No se dio ninguna calificación, explicación o prueba de este tipo", escribió Thom en Mastodon. "Lo considero deshonesto, como mínimo."

La situación reavivó el debate sobre la distinción entre "datos específicos de usuario" y "datos desidentificados" que OpenAI ha empleado tanto en su comunicado público sobre Navier-Stokes como en sus comunicaciones con Buckmaster y, ahora, con Thom. En el blog del anuncio, la empresa negó tajantemente haber utilizado el trabajo de los investigadores: "Nosotros (los investigadores y los agentes) no vimos nada de su trabajo por ningún medio hasta que lo hicieron público". Sin embargo, admitió una posibilidad indirecta: "Aunque es poco probable, no podemos descartar que datos desidentificados derivados del uso de nuestros productos hayan ayudado a mejorar nuestros modelos". Para Thom, esa sutileza es un intento de evasión: "La desidentificación puede eliminar un nombre; no elimina el contenido intelectual de una idea matemática".

El caso plantea un dilema ético profundo: si la investigación no publicada de los usuarios sirviera para mejorar modelos que después se utilizan para competir contra esos mismos usuarios en la carrera por publicar, sin consentimiento, sin divulgación adecuada y sin crédito, ello sería, en palabras de Thom, "éticamente indefendible". El matemático sostiene que los investigadores carecen de herramientas para reconstruir el proceso de entrenamiento de OpenAI y determinar si su trabajo fue utilizado, por lo que la carga de la prueba recae en la propia empresa: si niega tales prácticas, debe demostrarlo mediante la divulgación completa de los conjuntos de datos y la aclaración de los términos de uso.

Las fuentes difieren ligeramente en el tono: The Verge, con información más detallada sobre el caso Buckmaster, recoge la preocupación por un creciente secretismo en la comunidad matemática; mientras que heise.de —medio alemán especializado en tecnología— aporta el contexto de la denuncia desde Dresde y el dato de que Thom mantuvo conversaciones durante meses con un colega sobre cuestiones de investigación abiertas. Ambas coinciden, no obstante, en el fondo de la acusación: la falta de transparencia de OpenAI respecto al uso de datos y la frustración ante respuestas consideradas evasivas.

En definitiva, lo que debería ser un momento de celebración para OpenAI —haber logrado avances significativos en problemas matemáticos de primer nivel, incluida una posible solución a un Problema del Milenio— se ha convertido en fuente de malestar en la comunidad matemática. Las circunstancias del anuncio (OpenAI reconoció que decidió abordar el problema tras escuchar rumores sobre el progreso de otros investigadores) y la sucesión de acusaciones por falta de crédito y opacidad en el uso de datos hacen temer a los investigadores que el campo pueda volverse más hermético si la mera sospecha de un avance puede desencadenar una carrera contrarreloj con una compañía tecnológica dotada de recursos ilimitados y ansiosa de protagonismo. Por ahora, OpenAI no ha respondido formalmente a las acusaciones de Thom, y la pregunta sobre si las conversaciones de los matemáticos alimentaron, siquiera indirectamente, los modelos de la compañía sigue sin respuesta concluyente.