LoRA rank

Определение

Гиперпараметр LoRA (обычно 8-16), определяющий ранг матрицы адаптера и количество обучаемых параметров; малый ранг снижает риск переобучения.

Где встречается

• 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
• 40. Как вы объединяете несколько LoRA адаптеров для разных задач
• 244. Fine-tune QLoRA на 1 GPU

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление