Nadam
Nadam
Определение
Оптимизатор, представляющий собой модификацию Adam с добавлением Nesterov momentum для улучшения сходимости.
Где встречается
- 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)
- 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM