Prueba matemática de la hipótesis platónica de representación en IA

Fuentes: Proving the Platonic Representation Hypothesis with JEPAs

Un nuevo estudio académico demuestra que las arquitecturas de predicción por embebido conjunto (JEPAs) convergen a representaciones platonicas del mundo cuando se entrenan con múltiples modalidades, transformando una hipótesis teórica en un teorema matemático comprobable. El trabajo, publicado en arXiv bajo la categoría de inteligencia artificial, establece que si las parejas positivas de entrenamiento corresponden a diferentes vistas de la misma escena, los modelos aprenden la misma representación hasta una rotación, independientemente de la cantidad de modalidades. Esta conclusión se basa en la demostración de que la predicción del siguiente token es, en realidad, una JEPA con 'vistas malas', lo que explica por qué los modelos de lenguaje se alinean con la visión solo mediante la escala y no por la arquitectura intrínseca.

La validación empírica del teorema se realizó utilizando 145.000 capturas de texto y los textos de 940 millones de imágenes web. Los resultados revelan una ley de escalado de alineación: las 'vistas buenas' requieren 42 veces menos muestras de entrenamiento que la predicción de siguiente token para alcanzar el mismo nivel de alineación. Además, un JEPA de texto con 109 millones de parámetros se alineó mejor con los codificadores de imagen de DINOv2 y CLIP que cualquier modelo de lenguaje evaluado, incluso de hasta 72.000 millones de parámetros. El estudio concluye que la calidad de las vistas de entrenamiento es el factor determinante para construir representaciones platonicas, superando a la simple escala de parámetros.