AdaLoRA

Определение

Вариант LoRA с адаптивным выбором ранга для каждого слоя, что позволяет эффективно распределять параметры и улучшать качество дообучения.

Где встречается

• 22. Какие методы fine-tuning вы знаете и какой используете чаще всего
• 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
• 235. LoRA для function calling

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление