English translation is not available yet. Showing Russian content.
Learning Rate Scheduling
Learning Rate Scheduling
Определение
Процесс динамического изменения learning rate в ходе обучения; включает методы вроде cosine annealing и warmup, улучшающие сходимость.
Где встречается
- 472. Почему gradient accumulation эквивалентен большому batch с точки зрения оптимизации
- 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM