Nadam

Определение

Оптимизатор, представляющий собой модификацию Adam с добавлением Nesterov momentum для улучшения сходимости.

Где встречается

• 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)
• 669. Как работает связь между SGD и Adam Почему Adam лучше для LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление