target_modules

Определение

Параметр в LoRA, задающий список модулей трансформера (например, q_lin, k_lin, v_lin), к которым применяются адаптеры. Позволяет выбирать, какие слои модели будут тонко настраиваться с помощью LoRA.

Где встречается

• 37. Как вы избегаете переобучения при fine-tuning на маленьком датасете
• 800+ вопросов
• 223. Fine-tune LoRA для стиля

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление