Что такое ReFT (Representation Fine-Tuning)? Чем отличается от LoRA (обучение на скрытых представлениях, а не весах)?

Краткий тезис

ReFT (Representation Fine-Tuning) — это метод параметро-эффективного дообучения (PEFT), который вместо модификации весов модели учит интервенции (вмешательства) в скрытые представления на определённых слоях. В отличие от LoRA, где добавляются низкоранговые адаптеры к весам линейных слоёв, ReFT оставляет исходные веса неизменными и корректирует внутренние представления через специальные обучаемые «патчи». За счёт этого ReFT требует на порядок меньше параметров, чем LoRA, сохраняя при этом высокое качество на многих задачах. Однако метод остаётся преимущественно исследовательским и пока не стал промышленным стандартом.

2. Не меняет веса модели

В отличие от методов тонкой настройки на веса (full fine-tuning, LoRA, AdaLoRA), ReFT не изменяет исходные параметры предобученной модели. Это даёт несколько ключевых преимуществ:

• Безопасность: Исходная модель остаётся нетронутой — любую «порчу» можно исправить простым отбрасыванием обученных интервенций.
• Лёгкое переключение задач: Для каждой задачи достаточно хранить набор параметров интервенций (обычно менее 0.1% от размера исходной модели).
• Совместимость с слиянием (merging): Несколько наборов интервенций можно применить одновременно или объединить, не смешивая веса.

ReFT фактически тонко настраивает поведение, а не знания. Все фактические знания остаются в исходных весах — интервенции лишь корректируют выходы при проходе через модель.

3. Требует меньше параметров, чем LoRA

Сравним количество обучаемых параметров:

ReFT может использовать чрезвычайно низкие ранги (r=1 или r=4) и воздействовать всего на один или несколько слоёв. В экспериментах авторов ReFT с 20K параметров превосходил LoRA с 4M параметров на ряде задач понимания естественного языка (GLUE, SuperGLUE).

Однако малый размер — не всегда только плюс. ReFT менее стабилен при малом количестве данных и требует аккуратного выбора слоёв/позиций (задача сама по себе нетривиальная).

4. ReFT остаётся исследовательским методом

На текущий момент (середина 2025 года) ReFT:

• Реализован в открытых фреймворках (например, pyreft от Stanford NLP).
• Показал хорошие результаты на небольших моделях (до 7B) и узких задачах (классификация, NLI).
• Не используется в крупных продуктах (ChatGPT, Claude) — индустрия предпочитает LoRA и его варианты (QLoRA, DoRA).

Главные проблемы:

• Выбор мест интервенции — требует ручного выбора слоёв и токенов (или эвристик).
• Нестабильность при большом количестве интервенций (слишком много независимых патчей могут мешать друг другу).
• Ограниченная масштабируемость — метод не тестировался для моделей > 70B с высокой точностью.

Тем не менее, ReFT открывает интересное направление: возможно, будущее PEFT — в обучении не весов, а правил поведения через минимальные активационные корректировки.

5. Пет-проект для закрепления

Задача: Реализовать ReFT на PyTorch для дообучения небольшого BERT на задаче классификации (SST-2). Сравнить с LoRA.

Инструменты:

• Python, PyTorch, transformers, datasets
• Библиотека pyreft (или написать с нуля)
• LoRA через peft

Шаги:

1. Загрузить предобученный BERT-base и токенизатор.
2. Заморозить все веса модели.
3. Для каждого из последних 2 слоёв добавить интервенцию:
   • Линейный проектор W_intervention размером d_model → d_model с низкоранговой параметризацией (rank=1) и residual connection.
   • Выбрать позицию первого токена (CLS) как место вмешательства.
4. Обучить только параметры интервенций на SST-2 (3 эпохи, AdamW).
5. Обучить LoRA-адаптер (r=8) на том же датасете и сравнить:
   • Количество параметров.
   • Точность на тесте.
   • Скорость инференса (с включёнными интервенциями).

Ожидаемый результат:

• ReFT покажет точность, близкую к LoRA (возможно, в пределах 1-2%), при в 100-500 раз меньшем количестве обучаемых параметров.
• Инференс с ReFT будет незначительно медленнее из-за дополнительных проходов на выбранных слоях.

Связь с другими вопросами

Навигация

• Предыдущий: 978. AdaLoRA
• Следующий: 980. DoRA
• Индекс: 00. Индекс разборов