LoRA alpha

Определение

LoRA alpha — это масштабирующий коэффициент, используемый в методе LoRA (Low-Rank Adaptation) для контроля влияния адаптеров на исходные веса модели. Обычно значение alpha устанавливается равным 2r или 1r (без scaling), где r — ранг адаптера. Этот параметр определяет, насколько сильно обновления, полученные через низ