PEFT
PEFT
Определение
PEFT (Parameter-Efficient Fine-Tuning) — это семейство методов дообучения больших языковых моделей, при котором замораживается большинство параметров исходной модели, а обучается лишь небольшое количество дополнительных или адаптивных параметров. Это позволяет значительно сократить вычислительные затраты и требования к памяти, сохраняя при этом высокое качество на целевой задаче. Ключевая идея PEFT — модифицировать модель, не трогая её основные веса, что предотвращает катастрофическое забывание и ускоряет эксперименты.
Где встречается
- 951. Что такое Fine-tuning LLM? Чем отличается от обучения с нуля (pre-training) с точки зрения данных и вычислительных затрат?
- 952. Что такое LoRA (Low-Rank Adaptation)?
- 953. Как выбрать rank (r) в LoRA?
- 954. Чем отличается LoRA от Adapter-слоев?
- 955. Что такое QLoRA?
- 956. Что такое P-tuning и Prefix Tuning?
- 957. Что такое (IA)^3?
- 958. Как объединить несколько LoRA адаптеров?
- 959. Как деплоить несколько LoRA адаптеров?
- 960. Как вы подбираете гиперпараметры для LoRA?
- 961. Что такое Parameter-Efficient Fine-Tuning (PEFT)?
- 966. Что такое Catastrophic Forgetting?
- 968. Какой размер датасета нужен для LoRA?
- 973. Какие фреймворки для fine-tuning вы используете?
- 974. Как вы логируете и отслеживаете эксперименты?
- 978. Как вы тонко настраиваете модель для "стиля речи"?
- 979. Что такое ReFT?
- 980. Как сделать fine-tuning модели на 1 млн токенов контекста?
-
- Как деплоить RLHF-модель в production?