Attention dropout

Определение

Метод регуляризации, при котором отдельные веса внимания зануляются после softmax для предотвращения чрезмерной концентрации модели на одном токене и улучшения обобщения.

Где встречается

• 675. Как работает dropout и зачем он нужен в LLM (regularization)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление