Low-Rank Adaptation
Low-Rank Adaptation
Определение
Low-Rank Adaptation (LoRA) — это метод параметроэффективного дообучения больших языковых моделей, при котором обновления весов аппроксимируются произведением двух низкоранговых матриц. Это позволяет значительно сократить количество обучаемых параметров и потребление памяти, сохраняя при этом качество дообучения, близкое к полному fine-tuning. LoRA часто комбинируют с квантованием (например, QAT) для ещё более эффективного использования ресурсов.
Где встречается
- 953. Как выбрать rank (r) в LoRA? Что будет при слишком маленьком или слишком большом r?
- 972. Что такое Quantization-Aware Training (QAT)? Чем отличается от Post-Training Quantization (PTQ)?