Un estudio reciente publicado en arXiv analiza el impacto de la truncación del backpropagation (BPTT) en el entrenamiento de transformers con bucles, una técnica que reutiliza capas compartidas para aumentar la profundidad computacional sin incrementar el número de parámetros entrenables. Los autores, liderados por Xuyuan Xiong, investigan sistemáticamente el valor de la truncación mediante un análisis de casi 600 ejecuciones de entrenamiento, variando el tamaño del modelo, el número de tokens de entrenamiento y los conteos de bucles hacia adelante y hacia atrás. El objetivo es identificar una ley de escalado unificada que capture los efectos del bucle y la truncación a través de parámetros efectivos.
Los resultados demuestran que, aunque la truncación ahorra recursos computacionales durante el entrenamiento, la ley de escalado ajustada favorece el BPTT completo cuando los conteos de bucles se optimizan conjuntamente. En las pruebas con recursos computacionales equivalentes, el BPTT completo a través de menos bucles superó consistentemente a las configuraciones truncadas de la misma capacidad. Además, la ley establece que, a tamaño de modelo fijo, el conteo de bucles óptimo y el presupuesto de tokens de entrenamiento crecen con el cómputo. Cuando el tamaño del modelo también es libre, el estudio identifica dos bucles completamente entrenados como la configuración óptima. Experimentalmente, esta configuración alcanza una pérdida de validación inferior a la del modelo no buclado con el cómputo óptimo, utilizando aproximadamente un 27% menos de parámetros no de embebido y solo un 8% más de cómputo de entrenamiento.