Representation Fine-Tuning

Определение

Representation Fine-Tuning (ReFT) — это метод параметро-эффективного дообучения (PEFT), который вместо модификации весов модели учит интервенции (вмешательства) в скрытые представления на определённых слоях. Это позволяет адаптировать модель с меньшим количеством обучаемых параметров, сохраняя производительность. ReFT является альтернативой таким методам, как LoRA, и фокусируется на изменении представлений, а не весов.

Где встречается

• 979. ReFT (Representation Fine-Tuning)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление