gradient scaling

Определение

Техника масштабирования градиентов перед приведением к низкой точности (FP16/FP8) для предотвращения underflow; используется в mixed precision training.

Где встречается

• 312. Как работает FP8 quantization на H100 (Transformer Engine)
• 464. Почему BF16 лучше FP16 для training
• 469. Как работает Mixed Precision Training (FP16 + FP32 master веса)
• 485. Как вы дебажите training instability (loss spikes, divergence)
• 666. Что такое FP16, BF16, FP8, INT8 quantization Когда что использовать
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление