El uso del formato de punto flotante bf16 en el ajuste fino de modelos de lenguaje con optimizadores como AdamW provoca un comportamiento contraintuitivo: la mayoría de los pesos del modelo permanecen congelados. Esto ocurre porque bf16 solo puede representar cambios significativos si estos superan aproximadamente 1/512 del valor original del peso. En tasas de aprendizaje pequeñas, como 1e-6, solo los pesos de magnitud mínima reciben actualizaciones, mientras que el resto del modelo se queda estático. Este fenómeno, descubierto al analizar el código de Quiet-STaR, explica por qué ciertos modelos parecen entrenarse de forma selectiva, afectando principalmente a capas como MLP, atención y embeddings. El artículo detalla cómo la precisión limitada de bf16 actúa como una máscara de pesos fija durante el entrenamiento, impidiendo que las actualizaciones pequeñas se acumulen. Además, se explica que el descenso de pesos (weight decay) y el segundo momento de Adam también sufren de errores de redondeo que impiden su funcionamiento correcto. Este análisis técnico es relevante para ingenieros que buscan optimizar el rendimiento de sus modelos, ya que revela limitaciones inherentes a la precisión mixta que pueden afectar la convergencia y la calidad de las predicciones.
Noticias agregadas con IA