gradual fine-tuning

Определение

Стратегия тонкой настройки, при которой learning rate начинается с малого значения и постепенно увеличивается. Это помогает избежать резких изменений в модели и сохранить базовые способности.

Где встречается

• 337. Как вы проверяете, что RLHF не сломал базовые способности модели

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление