Adapter layers
Adapter layers
Определение
Метод параметро-эффективного дообучения, при котором между слоями трансформера добавляются небольшие полносвязные слои. Устаревает в пользу LoRA, но используется в некоторых архитектурах (например, Q-Former).
Где встречается
- 22. Какие методы fine-tuning вы знаете и какой используете чаще всего
- 367. Что такое Q-Former в BLIP-2 и зачем он нужен
- 481. Что такое LoRA для training (инференс уже знаем)
- 540. Как работает Q-Former в BLIP-2 и зачем он нужен
- 816. Как обеспечивать backward compatibility при изменении протокола
- 800+ вопросов
- 151. Настроить trajectory coverage