OpenAI firma acuerdos con cuatro asesores independientes para evaluar sus modelos

Fuentes: OpenAI signs agreements with four independent assessors for AI model evaluations

OpenAI ha firmado acuerdos con cuatro asesores independientes—Apollo Research, METR, Transluce y Goodfire—para iniciar la primera fase de evaluaciones integradas de sus modelos de inteligencia artificial. Esta iniciativa busca proporcionar transparencia pública sobre cómo el laboratorio evalúa y gestiona los riesgos asociados al rápido avance de las capacidades de la IA, especialmente en lo que respecta a la alineación de los modelos y la eficacia de sus salvaguardas.

Las evaluaciones integradas otorgan a los expertos acceso profundo a los sistemas internos de OpenAI, incluyendo puntos de control de modelos, código fuente, datos de entrenamiento y documentación técnica. Este acceso permite a los asesores realizar investigaciones independientes durante un período extendido, complementando los casos de seguridad internos de la empresa. Las evaluaciones iniciales se centran en la alineación y las salvaguardas durante el entrenamiento y el uso interno, construyendo sobre los principios previos de OpenAI para la evaluación de terceros.

Cada asesores tiene un enfoque específico: Apollo Research evaluará si los modelos pueden trabajar contra las intenciones de los desarrolladores mediante cuatro afirmaciones clave; Goodfire utilizará su plataforma para analizar la interpretabilidad y el monitoreo de entrenamientos; METR se centrará en la alineación y el monitoreo de su mayor ejecución de aprendizaje por refuerzo; y Transluce examinará la calidad y cobertura de las evaluaciones de alineación post-entrenamiento. Estas colaboraciones respaldan los compromisos de OpenAI bajo el Acuerdo de la Casa Blanca sobre la Superinteligencia y buscan establecer estándares compartidos de transparencia en la industria.