Nesterov momentum

Определение

Улучшенная версия momentum, где градиент вычисляется в точке упреждения, что позволяет более точно оценить направление обновления параметров. Используется для ускорения сходимости при обучении нейросетей.

Где встречается

• 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление