UltraBERT es un nuevo modelo de codificador bidireccional diseñado para superar las limitaciones de rendimiento de los modelos BERT tradicionales. A diferencia de las implementaciones anteriores, que heredaban recetas de preentrenamiento de modelos de lenguaje de gran escala (LLM), UltraBERT introduce una arquitectura que asigna cabezas de LLM separadas para diferentes proporciones de enmascaramiento dentro de un mismo lote. Esta innovación permite optimizar simultáneamente las tareas de clasificación y recuperación, logrando un estado del arte en ambos dominios.
El estudio que presenta UltraBERT revela tres hallazgos clave sobre el diseño de preentrenamiento. Primero, los codificadores alcanzan una saturación en tareas posteriores tras procesar apenas unos billones de tokens, lo que indica que aumentar el cómputo más allá de ese punto no mejora el rendimiento. Segundo, la relación entre el tamaño del modelo y la proporción de enmascaramiento es contradictoria: proporciones bajas benefician la clasificación, mientras que las altas benefician la recuperación. Tercero, la destilación con recorte mejora la clasificación en proporciones bajas de enmascaramiento, pero degrada la recuperación en proporciones altas.
Guided by these findings, UltraBERT restricts the distillation objective to the low masking ratio. The model achieves a score of 91.0 on the GLUE benchmark and 47.7 on BEIR, outperforming previous single-encoder models. This work provides a principled basis for compute allocation and knowledge transfer in bidirectional models, offering a more efficient and effective approach to encoder training.
