Linear warmup + linear decay

Определение

Планировщик learning rate, который сначала линейно увеличивает LR, а затем линейно уменьшает, стабилизируя первые шаги обучения.

Где встречается

• 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление