Поиск

• answerКак работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA?

  …Как работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA? ## Краткий тезис **[[Вики/DoRA\|DoRA]] ([[Вики/DoRA\|Weight-Decomposed Low…

• wikiDoRA

  # DoRA ## Определение Улучшение LoRA, разлагающее веса на magnitude и direction, что повышает качество fine-tuning на 2-5% без увеличения…

• answerЧто такое LoRA для training (инференс уже знаем)?

  …Выполняется как [[Вики/Composite score\|взвешенная сумма]] B·A. - [[Вики/DoRA\|DoRA]] ([[Вики/DoRA\|Weight-Decomposed Low-Rank Adaptation]], 2024…

• answerКак вы предотвращаете catastrophic forgetting при fine-tuning?

  …LoRA\|LoRA]] или его варианты ([[Вики/QLoRA\|QLoRA]], [[Вики/DoRA\|DoRA]]). ## 3. Elastic Weight Consolidation (EWC) [[Вики/EWC\|EWC]] — метод…

• answerКак работает QLoRA (Quantized LoRA) для training?

  …Как работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA\|483]] | Какие методы квантизации моделей вы знаете? | | [[484. Что такое…

• answerЧто такое Parameter-Efficient Fine-Tuning (PEFT) и какие методы вы знаете?

  …Тренды и современные вариации - **DoRA (Weight-Decomposed Low-Rank Adaptation)** – разложение весов на величину и направление, улучшает качество при том…

• answerЧто такое ReFT (Representation Fine-Tuning) и когда он лучше LoRA?

  …Как работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA\|483]] | Что такое LoRA и как он работает? | | [[485. Как…

• answerКак вы избегаете переобучения при fine-tuning на маленьком датасете?

  …Решение — [[Вики/LoRA\|LoRA]] (и другие [[Вики/Parameter-Efficient Fine-Tuning\|PEFT]]-методы: [[Вики/AdaLoRA\|AdaLoRA]], [[Вики/DoRA\|DoRA]], [[Вики…

• answerКак работает distributed optimizer в PyTorch (torch.distributed.optim)?

  …Как работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA\|483]] | Как работает pipeline parallelism | --- ## 11. Навигация (Obsidian) - Предыдущий: [[477…

• answerКак вы объединяете несколько LoRA адаптеров для разных задач?

  …Как вы тестируете агентов (сложно из-за стохастичности)\|45]] | Что такое DoRA и как он улучшает LoRA | | [[47. Что такое…

• indexИндекс разборов

  …Как работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA\|483. Как работает DoRA (Weight-Decomposed LoRA) и чем лучше…

• indexОглавление

  …Как работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA\|483. Как работает DoRA (Weight-Decomposed LoRA) и чем лучше…

• wikiИндекс терминов

  …Вики/dominant strategy|dominant strategy]] - [[Вики/Donut|Donut]] - [[Вики/DoRA|DoRA]] - [[Вики/DoS|DoS]] - [[Вики/DOT format|DOT format]] - [[Вики…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …Как работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA?** > _Ответ:_ DoRA разлагает веса на magnitude и direction, обучает direction…