Target modules
Target modules
Определение
Target modules (целевые модули) — это параметр в методах параметрически эффективного дообучения (PEFT), таких как LoRA, который определяет, какие слои или модули нейронной сети будут адаптироваться. В контексте LoRA для трансформеров обычно выбирают проекционные слои внимания, например q_proj и v_proj (запросы и значения), чтобы минимизировать количество обучаемых параметров, сохраняя качество. Выбор целевых модулей влияет на производительность и скорость обучения.