momentum
momentum
Определение
Метод оптимизации, сглаживающий обновления градиентов с помощью экспоненциального скользящего среднего. Это ускоряет сходимость и уменьшает колебания, особенно в сочетании с адаптивными оптимизаторами, такими как Adam.
Где встречается
- 468. Почему small batch size (32) ухудшает training стабильность
- 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)
- 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM
- 800+ вопросов