RAdam

Определение

Оптимизатор градиентного спуска, исправляющий проблему завышенного learning rate на ранних шагах Adam. Использует верификацию дисперсии адаптивной скорости обучения. Повышает стабильность и скорость сходимости при fine-tuning LLM.

Где встречается

• 659. Что такое Adam optimizer и как работают его параметры (β1, β2, ε, learning rate)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление