Rank (r)

Определение

Ранг (rank, r) в Low-Rank Adaptation (LoRA) — ключевой гиперпараметр, определяющий количество обучаемых параметров и, соответственно, ёмкость адаптера. Он задаёт размерность низкоранговых матриц, на которые разлагается обновление весов предобученной модели. Чем выше ранг, тем больше параметров адаптера и тем выше его способность к обучению, но при этом возрастает риск переобучения и увеличивается потребление памяти.

Где встречается

• 953. Как выбрать rank (r) в LoRA? Что будет при слишком маленьком или слишком большом r

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление