¿Razonan los modelos de IA por las razones equivocadas?

¿Puede el razonamiento de la inteligencia artificial ser, al mismo tiempo, genuino y un espejismo? Esta es la pregunta que articula una investigación creciente sobre los modelos de razonamiento de gran tamaño (LRM), los modelos de lenguaje entrenados para generar cadenas de pensamiento antes de ofrecer una respuesta. El artículo repasa la literatura científica reciente y contrasta los éxitos cosechados por estos sistemas con las dudas crecientes sobre si lo que hacen puede calificarse como razonamiento real.

Los autores describen cómo, en 2022, se descubrió que pedir a los modelos de lenguaje que pensaran paso a paso mejoraba sus resultados. A partir de ahí, OpenAI y otros laboratorios entrenaron modelos como o1 para automatizar esa estrategia. Sin embargo, varios estudios posteriores han mostrado que los textos intermedios generados por los modelos no siempre reflejan su proceso interno. Investigaciones del grupo de Subbarao Kambhampati en la Universidad Estatal de Arizona y de la Universidad de Nueva York han demostrado que se pueden sustituir esas cadenas de texto por secuencias sin sentido sin que el rendimiento caiga de forma significativa. Melanie Mitchell, del Instituto Santa Fe, resume el estado de la cuestión: los LRM funcionan mejor que los LLM convencionales, pero su texto intermedio no es necesariamente fiel a lo que ocurre dentro del modelo y, en muchos casos, ni siquiera resulta útil para explicar la respuesta.