IA3
IA3
Определение
Метод Parameter-Efficient Fine-Tuning (PEFT), который обучает векторы масштабирования для активаций ключей, значений и слоёв FFN, позволяя адаптировать модель с минимальным числом параметров.
Где встречается
- 484. Что такое ReFT (Representation Fine-Tuning) и когда он лучше LoRA
- 800+ вопросов
- 235. LoRA для function calling