Investigadores de la Universidad de Oxford, Google DeepMind y el UK AI Security Institute han presentado CivBench, un benchmark que enfrenta a modelos como GPT-5.4, Claude Opus 4.6, Gemini 3.1 Pro y Kimi K2.5 contra la inteligencia artificial del propio Civilization VI, gestionando simultáneamente economía, ciencia, cultura, ejército, diplomacia y expansión durante partidas de más de 300 turnos. De 23 partidas válidas, los modelos solo ganaron tres, todas en el escenario base Ground Control y por victoria tecnológica, mientras que ninguno superó Snowflake, orientado al combate.
El hallazgo más relevante no es el marcador, sino los patrones de comportamiento. Los agentes consultaron el progreso hacia la victoria cada 30-75 turnos en lugar de los 20 recomendados, y en siete de veinte derrotas detectables a tiempo no verificaron la amenaza rival en los últimos 20 turnos. Además, entre el 48,2% y el 65,8% de los planes explícitos registrados en sus diarios no se tradujeron en acciones en los diez turnos siguientes, un desfase que los autores denominan Reflection–Action Gap. Ningún modelo alcanzó de media las tres ciudades de referencia en el turno 50.
Los autores advierten que se trata de un estudio piloto con 23 partidas y costes de entre 31 y 229 dólares por ejecución, insuficiente para un ranking fiable, pero útil para señalar que estos sistemas saben planificar y, sin embargo, olvidan ejecutar sus propios planes cuando la tarea se prolonga durante cientos de decisiones.