LoRA Hub
LoRA Hub
Определение
LoRA Hub — продвинутый подход к объединению нескольких LoRA-адаптеров, обученных на разных доменах. Основная идея заключается в обучении небольшой сети (gating network), которая динамически выбирает, какой из адаптеров активировать для каждого входного токена. Это позволяет избежать конфликта весов при прямом слиянии адаптеров и адаптировать поведение модели в зависимости от контекста.