Anthropic presenta el Índice de Razonamiento Conceptual para evaluar IA en tareas sin verificación empírica

Anthropic ha presentado el Conceptual Reasoning Index (CRI), un índice que mide la capacidad de los modelos de lenguaje para razonar sobre cuestiones donde no existe verificación empírica ni matemática posible, como los dilemas de alineación, gobernanza de IA o cooperación frente a riesgos catastróficos. El trabajo se centra en lo que los autores denominan razonamiento conceptual: tareas en las que las respuestas solo pueden respaldarse mediante argumentación. Para evaluarlo, el equipo ha desarrollado tres benchmarks: LMCA, un conjunto de 560 textos de posición con 1.461 argumentos valorados por expertos en razonamiento conceptual; ACCoRD, con 567 restricciones de consistencia lógica revisadas manualmente sobre 14.000 iniciales; y DTBench capabilities, con 407 preguntas de elección múltiple sobre teoría de la decisión. El CRI pondera un 60 % LMCA, un 20 % ACCoRD y un 20 % DTBench capabilities, con puntuaciones de 0 a 100. El techo estimado se sitúa en torno a 91 puntos, y el mejor modelo evaluado, Opus 5, alcanza 73,6 (IC 95 %: ± 2,1). Anthropic observa una tendencia lineal al alza desde finales de 2024 sin señales de meseta, y estima que LMCA podría saturarse en aproximadamente un año. El CRI se actualizará en conceptualreasoning.ai conforme se publiquen nuevos modelos y benchmarks.