English translation is not available yet. Showing Russian content.
Cosine Decay
Cosine Decay
Определение
Планировщик learning rate, уменьшающий скорость обучения по косинусному закону от начального до нуля, часто с warmup, для стабильного обучения.
Где встречается
- 485. Как вы дебажите training instability (loss spikes, divergence)
- 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)
- 60. Настроить гибрид (Mamba + Attention)