La proliferación de demostraciones visuales en los lanzamientos de modelos de inteligencia artificial, como recrear Minecraft o dibujar un pelícano en bicicleta, ofrece resultados fáciles de compartir, pero no constituye una evaluación fiable de sus capacidades. El texto las denomina «benchmarks de demostración»: problemas visuales, comprensibles y acotados que los laboratorios pueden preparar específicamente para cada lanzamiento.
Según el artículo, una prueba fija y célebre puede ser memorizada o incorporada a los datos de entrenamiento y al ajuste fino. Por eso, mide más la preparación de un laboratorio que el rendimiento real del modelo. Los benchmarks públicos también pueden producir resultados engañosos: modelos más pequeños obtienen puntuaciones iguales o superiores a las de sistemas de mayor tamaño en pruebas conocidas.
La propuesta consiste en utilizar evaluaciones dinámicas o con conjuntos privados. LiveBench renueva sus preguntas, ARC-AGI mantiene pruebas privadas y Humanity’s Last Exam reserva parte de sus ejercicios. Estos métodos dificultan que un sistema se entrene específicamente para superar una prueba concreta.
No obstante, las demostraciones conservan valor porque explican visualmente una mejora en pocos segundos. La autora concluye que son útiles para presentar un modelo y generar contenido, pero no deberían utilizarse para clasificar su capacidad.