Un análisis reciente de la arquitectura de las redes neuronales sugiere que la interpretabilidad mecanicista es más viable de lo que se había estimado. El autor argumenta que la aparente complejidad de los modelos actuales se debe a un fenómeno de 'generalización recursiva' y no a la superposición de conceptos, que era la explicación predominante. Esta distinción permite estudiar las redes directamente, sin necesidad de descomponerlas primero en modelos auxiliares.
El texto detalla cómo los problemas de interpretabilidad en capas profundas, como los observados en InceptionV1, se debían a limitaciones arquitecturales y no a principios de aprendizaje nuevos. Mejoras estándar en el diseño de redes han hecho que el 99-100% de las neuronas en la última capa sean interpretables. Además, se corrige la interpretación de circuitos visuales canónicos, como el de Zoom In, que mostraban mezclas arbitrarias pero eran en realidad generalización ordinaria.
En modelos de lenguaje modernos, las auditorías preliminares de Qwen3-32B indican que aproximadamente el 90% de las neuronas tienen una función principal clara, mientras que solo el 2-4% no está bien comprendido. El artículo concluye que la interpretabilidad es alta en la mayoría de las redes, aunque varía según la profundidad y la densidad de las activaciones, recomendando un enfoque matizado en lugar de métricas únicas.