Los modelos de lenguaje grandes redactan ensayos, resuelven problemas matemáticos y generan código, pero su lógica interna sigue siendo en gran medida opaca. Investigadores como Thomas Icard, profesor de filosofía y ciencias de la computación en la Universidad de Stanford, trabajan en la disciplina emergente de la interpretabilidad mecanicista, que busca desentrañar los algoritmos que estos sistemas aprenden por sí solos.
Icard y sus colaboradores han desarrollado un marco riguroso basado en herramientas de causalidad para determinar cuándo una red neuronal implementa un algoritmo a un nivel de abstracción superior, más allá de las multiplicaciones de matrices. La analogía es directa: igual que la física pasa del comportamiento estadístico de moléculas individuales a la ley de los gases ideales, el campo agrupa la actividad de múltiples neuronas en unidades computacionales interpretables.
En un estudio de 2021, Icard y su entonces doctorando Atticus Geiger demostraron que un modelo basado en BERT implementa internamente elementos de un sistema de razonamiento lógico con cuantificadores y negación. Más recientemente, el artículo "Arithmetic in the Wild", de Goodfire AI, mostró que un modelo basado en Llama razona sobre conceptos cíclicos como los meses traduciendo primero a aritmética decimal —agosto es 8, luego 6 + 8 = 14, y 14 se reconvierte a febrero— antes de devolver el resultado. El mismo modelo aplica esa estrategia a días de la semana y horas del reloj sin haber sido entrenado explícitamente para ello.
La investigación sigue limitada a modelos de código abierto como Llama y OLMo, de hasta unos 10.000 millones de parámetros, ya que los modelos comerciales permanecen cerrados. Empresas como Anthropic y Google DeepMind cuentan con equipos propios en esta área. Quedan retos pendientes: escalar las técnicas a modelos mayores y automatizar procesos que aún dependen en gran medida de la intuición humana.