Adapter
Adapter
Определение
Adapter — техника параметро-эффективного дообучения (PEFT), при которой в каждый слой предобученной трансформер-модели добавляется небольшой нейронный модуль с бутылочной архитектурой (bottleneck). Модуль состоит из двух полносвязных слоёв: down‑projection, сжимающий скрытое состояние до маломерного представления, и up‑projection, восстанавливающий исходную размерность. В процессе fine-tuning замораживаются веса исходной модели, и обучаются только добавленные Adapter-слои, что позволяет значительно сократить количество обучаемых параметров и избежать катастрофического забывания.
Где встречается
- 954. Чем отличается LoRA от Adapter-слоев (Houlsby et al.)?
- 961. Что такое Parameter-Efficient Fine-Tuning (PEFT)?