Mapa interactivo revela la geometría interna de las conversaciones en Qwen

Fuentes: Interactive atlas reveals internal conversation geometry in Qwen

Un investigador ha creado un atlas interactivo que visualiza las representaciones internas del modelo de lenguaje Qwen3-1.7B, permitiendo observar cómo se estructuran las conversaciones en el espacio vectorial. El estudio analiza los vectores de la corriente residual, donde cada token se representa mediante 2.048 números que evolucionan según el contexto. Al procesar 900 ejemplos en inglés, chino, alemán y croata, junto con 90 ejemplos de código en Python, se descubren patrones geométricos significativos. Los datos muestran que las representaciones en inglés ocupan una superficie plana que explica el 99,3% de su variación, mientras que las versiones en chino se desplazan a una región vecina pero distinta. El alemán y el croata comparten una zona de solapamiento con el inglés, sugiriendo que la separación lingüística no es absoluta. Además, el conjunto de código en Python se sitúa cerca de las otras lenguas, lo que indica que la estructura sintáctica y los tokens compartidos (como palabras clave en inglés) influyen más en la proximidad geométrica que el idioma de escritura. Este análisis, basado en PCA global y conversación, ofrece una perspectiva técnica sobre cómo el modelo procesa y diferencia la información semántica de la forma lingüística.