LoRA+
LoRA+
Определение
LoRA+ — это улучшенная версия метода Low-Rank Adaptation (LoRA), использующая более эффективную инициализацию матриц адаптеров. Такая инициализация ускоряет сходимость и повышает качество тонкой настройки больших языковых моделей. Метод относится к семейству PEFT (Parameter-Efficient Fine-Tuning) и поддерживается фреймворком LLaMA-Factory.