Linear Decay

Определение

Расписание снижения скорости обучения, при котором learning rate линейно уменьшается после фазы разогрева (warmup) до нуля или заданного минимума.

Где встречается

• 485. Как вы дебажите training instability (loss spikes, divergence)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление