Prompt Tuning
Prompt Tuning
Определение
Метод PEFT, при котором обучаются мягкие промпты (soft prompts) для адаптации модели под задачу.
Где встречается
- 481. Что такое LoRA для training (инференс уже знаем)
- 484. Что такое ReFT (Representation Fine-Tuning) и когда он лучше LoRA
- 699. Как вы оцениваете, сколько синтетических данных нужно для fine-tuning (power analysis)