English translation is not available yet. Showing Russian content.
Конфликт весов
Конфликт весов
Определение
Конфликт весов возникает при простом сложении матриц обновлений, полученных от разных доменов, когда одинаковые веса получают противоположные обновления. Это приводит к взаимному подавлению изменений и ухудшению производительности модели на каждой из задач. Проблема особенно актуальна при объединении нескольких LoRA-адаптеров, обученных на различных наборах данных.