overflow

Определение

Числовое переполнение в вычислениях, когда значение градиента или активации превышает максимально представимое число формата (например, FP16), приводя к NaN и срыву обучения.

Где встречается

• 464. Почему BF16 лучше FP16 для training
• 469. Как работает Mixed Precision Training (FP16 + FP32 master веса)
• 485. Как вы дебажите training instability (loss spikes, divergence)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление