Prefix Tuning
Prefix Tuning
Определение
Prefix Tuning — это метод параметрически эффективного fine-tuning (PEFT), при котором к входным скрытым состояниям каждого слоя трансформера добавляются обучаемые непрерывные векторы (префиксы), а веса самой модели замораживаются. Префиксы оптимизируются с помощью градиентного спуска, что позволяет адаптировать модель под конкретную задачу без изменения исходных параметров. Метод особенно эффективен для генеративных задач, сохраняя качество, близкое к полному fine-tuning, при значительном сокращении числа обучаемых параметров.
Где встречается
- 954. Чем отличается LoRA от Adapter-слоев (Houlsby et al.)?
- 956. Что такое P-tuning и Prefix Tuning? Как они отличаются от LoRA (обучаемые векторы на входе vs матрицы внутри слоев)?
- 973. Какие фреймворки для fine-tuning вы используете? (Hugging Face PEFT, Unsloth, Axolotl, LLaMA-Factory).