dynamic loss scaling

Определение

Автоматическая регулировка коэффициента потерь (loss scaling) при обучении с mixed precision для предотвращения появления значений Inf и NaN.

Где встречается

• 469. Как работает Mixed Precision Training (FP16 + FP32 master веса)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление