DoRA

Определение

Улучшение LoRA, разлагающее веса на magnitude и direction, что повышает качество fine-tuning на 2-5% без увеличения числа параметров.

Где встречается

• 26. Как вы предотвращаете catastrophic forgetting при fine-tuning
• 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
• 481. Что такое LoRA для training (инференс уже знаем)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление