Un estudio académico publicado en arXiv examina un fenómeno creciente en la evaluación de modelos de inteligencia artificial: la saturación de los benchmarks. Los autores definen formalmente este concepto y lo aplican a 60 benchmarks de modelos de lenguaje, analizando 14 propiedades vinculadas a la pérdida de poder discriminante. Los resultados muestran que cerca de la mitad de los benchmarks examinados presentan signos de saturación, y que la tasa de saturación aumenta con la antigüedad del benchmark. Otro hallazgo relevante es que la resistencia a la saturación depende de la curación experta de los datos, y no del hecho de que los datos de prueba sean públicos. El trabajo sugiere que determinadas decisiones de diseño, como la curación por parte de especialistas, pueden prolongar la vida útil de un benchmark y contribuir a métodos de evaluación más duraderos en el campo de la inteligencia artificial. El artículo, titulado "When AI Benchmarks Plateau: A Systematic Study of Benchmark Saturation", fue enviado a arXiv el 18 de febrero de 2026 y cuenta con tres versiones, la última revisada el 29 de junio de 2026. Su autora principal es Mubashara Akhtar.
Noticias agregadas con IA