Un equipo de investigadores ha desarrollado un método generalizado para adaptar modelos de lenguaje grandes (LLM) existentes para que operen directamente sobre bytes en lugar de tokens subpalabra. Esta técnica, denominada 'byteification', resuelve una limitación histórica de los modelos actuales, que suelen perder precisión al procesar datos científicos como código o secuencias biológicas, donde el significado depende de caracteres individuales. El estudio, publicado en Nature, presenta un procedimiento de conversión de dos etapas que permite retrofitar modelos subpalabra en modelos de nivel de byte con un coste de entrenamiento mínimo, utilizando menos del 1% del presupuesto típico de preentrenamiento. Los modelos resultantes, como Bolmo 7B y Bwen 8B, superan en rendimiento a las versiones anteriores de modelos de nivel de byte y compiten con los sistemas basados en tokens subpalabra. Esta innovación permite una inferencia práctica y rápida, manteniendo la adaptabilidad del ecosistema existente de modelos de lenguaje. Los resultados demuestran que los modelos que operan sobre codificaciones de texto crudo pueden escalar competitivamente, ofreciendo ventajas significativas en dominios que requieren una comprensión textual de grano fino, como la programación y la ciencia de datos.
Noticias agregadas con IA