Progressive Neural Networks
Progressive Neural Networks
Определение
Архитектура для мультитаск-обучения, где для каждой новой задачи добавляется новая колонка нейронов с фиксированными предыдущими, предотвращая катастрофическое забывание. Редко используется в LLM.
Где встречается
- 26. Как вы предотвращаете catastrophic forgetting при fine-tuning
- 391. Как вы проектируете агента, который может работать непрерывно (247) без дрейфа поведения