Gating network
Gating network
Определение
Gating network (gating-сеть) — это нейросетевой компонент, который принимает на вход скрытое представление и выводит вектор весов для смешивания адаптеров или экспертов. Он используется в архитектурах типа Mixture of Experts (MoE) или LoRA Hub для динамического выбора или комбинирования нескольких модулей. Таким образом, gating-сеть определяет вклад каждого адаптера в итоговое предсказание, решая проблему конфликта весов.