Конфликт весов
Конфликт весов
Определение
Конфликт весов возникает при простом сложении матриц обновлений, полученных от разных доменов, когда одинаковые веса получают противоположные обновления. Это приводит к взаимному подавлению изменений и ухудшению производительности модели на каждой из задач. Проблема особенно актуальна при объединении нескольких LoRA-адаптеров, обученных на различных наборах данных.