Residual dropout

Определение

Метод регуляризации, при котором dropout применяется к выходу слоя перед добавлением к residual connection, что помогает предотвратить переобучение в трансформерах.

Где встречается

• 675. Как работает dropout и зачем он нужен в LLM (regularization)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление