Взвешенное суммирование
Взвешенное суммирование
Определение
Взвешенное суммирование — метод объединения выходов нескольких адаптеров (например, LoRA), при котором каждый адаптер вносит вклад с определенным весом. В отличие от простого сложения, веса позволяют ослаблять влияние конфликтующих адаптеров или адаптировать модель под смесь задач. Обычно веса являются гиперпараметрами и подбираются эмпирически или с помощью оптимизации.