underflow
underflow
Определение
Ситуация, когда числа становятся слишком малыми для представления в используемом формате (например, FP16) и округляются до нуля, теряя информацию.
Где встречается
- 464. Почему BF16 лучше FP16 для training
- 469. Как работает Mixed Precision Training (FP16 + FP32 master веса)
- 666. Что такое FP16, BF16, FP8, INT8 quantization Когда что использовать
- 800+ вопросов