Embedding dropout

Определение

Регуляризационная техника, при которой случайные элементы входных эмбеддингов токенов обнуляются во время обучения для предотвращения переобучения.

Где встречается

• 675. Как работает dropout и зачем он нужен в LLM (regularization)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление