中文翻译暂不可用，显示俄语原文。
Learning Rate Scheduling
Learning Rate Scheduling
Определение
Процесс динамического изменения learning rate в ходе обучения; включает методы вроде cosine annealing и warmup, улучшающие сходимость.
Где встречается
- 472. Почему gradient accumulation эквивалентен большому batch с точки зрения оптимизации
- 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM