Learning Rate Schedule

Определение

Стратегия изменения learning rate в процессе обучения, например, cosine decay или linear decay после warmup, для улучшения сходимости и предотвращения spikes.

Где встречается

• 485. Как вы дебажите training instability (loss spikes, divergence)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление