Prefix-tuning
Prefix-tuning
Определение
Метод fine-tuning, добавляющий обучаемые префиксные векторы к слоям self-attention; требует мало ресурсов.
Где встречается
- 22. Какие методы fine-tuning вы знаете и какой используете чаще всего
- 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
- 367. Что такое Q-Former в BLIP-2 и зачем он нужен
- 481. Что такое LoRA для training (инференс уже знаем)
- 800+ вопросов