IA3

Определение

Метод Parameter-Efficient Fine-Tuning (PEFT), который обучает векторы масштабирования для активаций ключей, значений и слоёв FFN, позволяя адаптировать модель с минимальным числом параметров.

Где встречается

• 484. Что такое ReFT (Representation Fine-Tuning) и когда он лучше LoRA
• 800+ вопросов
• 235. LoRA для function calling

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление