Softmax Overflow

Определение

Ситуация, когда логиты становятся слишком большими (например, >100), вызывая экстремальные вероятности после softmax, что приводит к затуханию или взрыву градиентов.

Где встречается

• 485. Как вы дебажите training instability (loss spikes, divergence)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление