RMSProp
RMSProp
Определение
Адаптивный оптимизатор, который нормализует learning rate с помощью скользящего среднего квадратов градиентов, что улучшает сходимость на нестационарных задачах.
Где встречается
- 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)
- 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM