Merge

Определение

Merge (слияние весов) — это операция объединения изменений, внесенных в модель в результате дообучения, с исходными весами. В контексте LoRA после обучения вычисляется матрица обновления ΔW = B * A, которая затем прибавляется к исходной матрице W, заменяя её на W' = W + ΔW. Это позволяет получить единую модель с интегрированными знаниями без необходимости хранить отдельные адаптеры.

Где встречается

• 954. Чем отличается LoRA от Adapter-слоев (Houlsby et al.)?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление