Artificial Analysis ha publicado la metodología de su índice de inteligencia v5.0, una herramienta diseñada para evaluar y comparar las capacidades de los modelos de lenguaje mediante un conjunto de datos de evaluación integral. Este índice combina nueve evaluaciones específicas para medir el razonamiento, el conocimiento, las matemáticas y la programación, ofreciendo una síntesis objetiva de la inteligencia general de los modelos. La metodología se basa en un promedio ponderado de cuatro categorías: Trabajo de Conocimiento (25%), Codificación (25%), Ciencia (25%) y General (25%).
El índice principal incluye evaluaciones como AA-Briefcase v1.1, AutomationBench-AA, FrontierCode 2.0 y Terminal-Bench 4.0, entre otras. Cada evaluación utiliza criterios de puntuación específicos, como el sistema Elo para tareas agénticas o la verificación de respuestas basadas en rubricas. Además, el índice se complementa con evaluaciones adicionales para capacidades multilingües, visuales y matemáticas, que se reportan por separado. El sistema soporta 15 idiomas, incluyendo inglés, chino, español, francés, árabe y japonés, entre otros. La evaluación sigue cuatro principios fundamentales: estandarización, ausencia de sesgo, uso de instrucciones sin ejemplos (zero-shot) y transparencia en la divulgación de la metodología. Los parámetros de prueba incluyen una temperatura de 0 para modelos no de razonamiento y 0.6 para modelos de razonamiento, con un límite de 16.384 tokens de salida para los primeros. Este enfoque busca garantizar la equidad y la aplicabilidad en el mundo real, aunque el índice reconoce sus limitaciones y no es directamente aplicable a todos los casos de uso específicos.