En un giro inesperado en el mundo de la inteligencia artificial, un investigador conocido como 'dnhkng' ha logrado colocar su modelo, 'RYS-XLarge', en la cima del Hugging Face Open LLM Leaderboard, sin modificar ni un solo peso del modelo original. La hazaña, lograda a mediados de 2024, implica duplicar un bloque específico de siete capas intermedias del modelo de 72 mil millones de parámetros y volver a ensamblarlo. Este descubrimiento, denominado 'LLM Neuroanatomía' por el investigador, sugiere una estructura interna más flexible y adaptable en los modelos de lenguaje de lo que se creía anteriormente.
La investigación surgió de dos observaciones inusuales: la capacidad de un modelo para procesar y decodificar datos en Base64, incluso en formatos fuera de distribución, y la construcción del modelo 'Goliath-120b', que alternaba capas de diferentes modelos. 'dnhkng' postula que las capas iniciales actúan como traductores, convirtiendo la entrada a una representación abstracta, mientras que las capas finales la convierten de nuevo al formato de salida. Las capas intermedias, según su teoría, son responsables del razonamiento puro en una representación interna universal. Este hallazgo, que aún no ha sido publicado formalmente, desafía las convenciones de entrenamiento de modelos de IA y abre nuevas vías para la investigación en interpretabilidad de la IA.