Los modelos de lenguaje sin tokenizador, conocidos como modelos por bytes, eliminan los sesgos inductivos de los tokenizadores fijos al modelar el texto directamente como secuencias de bytes. Aunque esta aproximación genera secuencias más largas que aumentan la carga computacional, un estudio reciente demuestra que los Transformers estándar pueden aprender abstracciones útiles de texto directamente de los bytes. La investigación, que analiza el comportamiento de escalado de estos modelos, revela que, al escalar el número de parámetros, los Transformers por bytes superan consistentemente a los modelos subpalabra. Este rendimiento se logra mediante dos ingredientes clave: el entrenamiento de superposición de tokens y el uso de embeddings de hash. Los resultados indican que, bajo un presupuesto fijo de FLOPs, la proporción óptima entre datos y parámetros para los modelos por bytes es aproximadamente 1,5 a 3 veces mayor que la de los modelos subpalabra. Además, los modelos por bytes muestran mejoras significativas en tareas de percepción fina, con mejoras relativas del 40% en puntuaciones CUTE y del 20% en OCRBench. El estudio también identifica que estos modelos desarrollan abstracciones locales de texto de forma implícita, similar a la jerarquía local-global de arquitecturas especializadas, lo que permite preservar el rendimiento en capas intermedias restringidas. Finalmente, la distribución de pérdida por byte muestra alta varianza, con incertidumbre concentrada cerca de los límites de estas estructuras locales. Esta característica permite explotar la decodificación especulativa, logrando 3,4 veces más tokens aceptados que en los modelos subpalabra, lo que sugiere que la longitud de secuencia y la asignación de cómputo son dimensiones críticas para el diseño futuro de los modelos de lenguaje.
Noticias agregadas con IA