La búsqueda de la Inteligencia Artificial General (AGI) – sistemas de IA con capacidades cognitivas similares a las humanas – es un objetivo ambicioso con el potencial de revolucionar la ciencia y resolver problemas globales. Sin embargo, medir el progreso hacia la AGI es un desafío considerable debido a la falta de herramientas de evaluación estandarizadas. El artículo de Google, junto con un hackathon de Kaggle, propone un nuevo marco de referencia basado en la ciencia cognitiva para abordar este problema.
La dificultad radica en que la inteligencia general no es una sola cosa, sino una combinación de diversas habilidades cognitivas. El marco propuesto identifica 10 habilidades clave que se consideran esenciales para la AGI: Percepción (procesamiento de información sensorial), Generación (creación de contenido como texto o acciones), Atención (enfoque cognitivo), Aprendizaje (adquisición de conocimiento), Memoria (almacenamiento y recuperación de información), Razonamiento (inferencia lógica), Metacognición (autoconciencia cognitiva), Funciones Ejecutivas (planificación, inhibición, flexibilidad), Resolución de Problemas (encontrar soluciones) y Cognición Social (comprensión de interacciones sociales). No se trata solo de que una IA pueda 'pensar', sino de cómo lo hace y en qué áreas destaca o falla.
Para evaluar el progreso, el marco propone un protocolo de tres etapas: primero, evaluar el rendimiento de los sistemas de IA en una amplia gama de tareas cognitivas; segundo, establecer líneas base de rendimiento humano para esas mismas tareas, asegurando una muestra demográfica representativa; y tercero, comparar el rendimiento de la IA con la distribución del rendimiento humano en cada habilidad. Esto permite una evaluación relativa y contextualizada.
El hackathon de Kaggle, con un premio total de $200,000, es un componente crucial para convertir esta teoría en práctica. Se invita a la comunidad investigadora a diseñar evaluaciones específicas para cinco áreas donde la brecha entre el rendimiento de la IA y el humano es más grande: Aprendizaje, Metacognición, Atención, Funciones Ejecutivas y Cognición Social. La plataforma Community Benchmarks de Kaggle facilita la creación y prueba de estas evaluaciones contra modelos de vanguardia. Este esfuerzo colaborativo busca no solo medir el progreso, sino también impulsar la innovación en el desarrollo de sistemas de IA más inteligentes y alineados con las capacidades humanas.