La mecánica de atención, desarrollada en 2014 por Dzmitry Bahdanau, Kyunghyun Cho y Yoshua Bengio, constituye el fundamento técnico de la inteligencia artificial contemporánea. Este mecanismo permite a las redes neuronales procesar secuencias de texto de longitud variable, superando las limitaciones de memoria de los modelos anteriores que solo funcionaban bien con frases cortas. La innovación surgió durante un proyecto de traducción automática entre inglés y francés en la Universidad de Montreal, donde Bahdanau identificó que las redes neuronales podían aprender patrones complejos si se les permitía 'atender' a las partes relevantes de la entrada en lugar de procesarlas secuencialmente.
En 2017, Google introdujo el transformer, una arquitectura que optimizó la atención y eliminó componentes innecesarios, logrando un estado del arte en traducción con una fracción de la computación requerida por modelos previos. Este avance sentó las bases para los grandes modelos de lenguaje actuales, como ChatGPT y Claude. La atención funciona mediante operaciones matemáticas que comparan vectores de palabras para determinar qué información contextual es más relevante para la siguiente predicción. Por ejemplo, en la frase 'The animal didn't cross the street because it was too tired', el sistema determina que 'it' se refiere al animal (masculino) y no a la calle (femenino), ajustando la traducción francesa accordingly. Esta capacidad de entender relaciones semánticas y gramaticales a través de capas de nodos conectados permite a los modelos de IA realizar tareas complejas, desde la generación de texto hasta el diagnóstico médico, consolidando la atención como el núcleo de la capacidad cognitiva artificial.