Label smoothing

Определение

Техника регуляризации, заменяющая one-hot метки на мягкое распределение (например, [0.9, 0.05, 0.05]) для снижения overconfidence и улучшения обобщения модели. Часто применяется в LLM для классификационных задач.

Где встречается

• 294. Как вы калибруете вероятности LLM для classification задач
• 602. Как работает membership inference атака на LLM
• 656. Как работает кросс-энтропия (cross-entropy loss) для LLM обучения
• 661. Как работает softmax и почему он вызывает проблемы с градиентами при больших logits
• 675. Как работает dropout и зачем он нужен в LLM (regularization)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление