AdaBelief

Определение

Модификация оптимизатора Adam, которая использует квадрат отклонения градиента от первого момента для адаптивной настройки шага обучения.