IA^3

Определение

(IA)^3 (Infused Adapter by Inhibiting and Amplifying Inner Activations) — это метод Parameter-Efficient Fine-Tuning (PEFT), который вместо добавления новых обучаемых модулей (как в LoRA) обучает небольшие векторы масштабирования (multipliers) для ключей, значений и скрытых активаций FFN. Эти векторы поэлементно умножаются на соответствующие активации, что позволяет адаптировать модель с минимальным количеством дополнительных параметров.

Где встречается

• 957. Что такое (IA)^3 (Infused Adapter by Inhibiting and Amplifying Inner Activations)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление