Un equipo independiente ha replicado en modelos abiertos el hallazgo del paper 'Verbalizable-Workspace' de Anthropic, que mostraba que las capas medias de una red neuronal funcionan como un diccionario de direcciones que controlan causalmente la salida del modelo. Los autores miden cuatro propiedades ausentes en el trabajo original: el horizonte temporal de esa influencia, cuándo emerge la estructura durante el entrenamiento, si se transfiere entre modelos y cómo escala.
El método consiste en perturbar el flujo residual de una capa y registrar cómo se mueve la última capa. Multiplicando por el 'unembedding', se obtiene un diccionario de 4.096 vectores de dirección por capa. Dos métricas lo resumen: la similitud geométrica CKA, que compara diccionarios sin importar coordenadas, y el 'participation ratio' (PR), que cuenta cuántas direcciones usa realmente el diccionario.
En el experimento E1, sobre seis modelos y ventanas de hasta 3.000 tokens, el resultado contradice la lectura literal del paper: la influencia más duradera no nace en las capas medias, sino en las primeras, con un pico de vida media en la fracción de profundidad ρ = 0,03–0,17 y semividas mediocres de 2–5 tokens. La influencia cae con la profundidad y muestra un acantilado en ρ ≈ 0,6–0,7. Las ablaciones indican que el alcance lo transportan los valores de atención, no los patrones.
En E1×E2, sobre doce checkpoints públicos de SmolLM3-3B (0,1 a 11,2 billones de tokens), se rastrea el acantilado temporal y el borde geométrico del diccionario a lo largo del entrenamiento. El trabajo expone además una advertencia: las medidas son promedios sobre una distribución de texto y cambian si se cambia esa distribución.