Replay

Определение

Replay — это метод, используемый при fine-tuning для смягчения катастрофического забывания. Он заключается в хранении небольшого подмножества данных из предыдущих задач и повторном их использовании при обучении на новой задаче. Таким образом, модель периодически "вспоминает" старые примеры, сохраняя производительность на ранее изученных доменах.

Где встречается

• 966. Что такое Catastrophic Forgetting при fine-tuning? Как его предотвратить (EWC, replay, LoRA)?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление