Logit Clipping
Logit Clipping
Определение
ограничение максимального значения логитов перед softmax
Где встречается
- 485. Как вы дебажите training instability (loss spikes, divergence)
- 622. Как работает membership inference через logits (разница в вероятностях)