FP32 master weights
FP32 master weights
Определение
Копия параметров модели в 32-битном формате FP32, которая обновляется оптимизатором при смешанном обучении для сохранения точности, в то время как forward/backward проходы выполняются в FP16 или BF16.
Где встречается
- 312. Как работает FP8 quantization на H100 (Transformer Engine)
- 464. Почему BF16 лучше FP16 для training
- 469. Как работает Mixed Precision Training (FP16 + FP32 master веса)
- 800+ вопросов