Softmax saturation

Определение

Состояние, при котором логиты велики по модулю, и softmax выдаёт near one-hot распределение, что ведёт к излишней уверенности модели (overconfidence) и плохой калибровке.

Где встречается

• 294. Как вы калибруете вероятности LLM для classification задач

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление