Что такое adversarial fine-tuning для защиты от jailbreak?

Краткий тезис

Adversarial fine-tuning — это метод повышения устойчивости (robustness) LLM к jailbreak-атакам путём дообучения на специально сгенерированных adversarial примерах. Процесс включает red teaming для выявления уязвимостей, генерацию атакующих промптов и fine-tuning модели для их отторжения. Метод увеличивает robustness, но может снижать качество ответов на чистые запросы (alignment tax).

1. Термины: Jailbreak, Adversarial Fine-Tuning, Red Teaming

Jailbreak — это атака на LLM, при которой пользователь с помощью специально сконструированного промпта пытается обойти встроенные ограничения безопасности]] (safety guardrails) и заставить модель генерировать запрещённый контент (например, инструкции по созданию оружия, вредоносные советы). Примеры: атака «DAN» (Do Anything Now), ролевые сценарии, манипуляции с системным промптом.

Adversarial fine-tuning — это процесс дообучения уже предобученной LLM на наборе данных, содержащем как обычные (чистые) запросы, так и adversarial примеры — пары (вредоносный промпт, желаемый безопасный ответ). Цель — научить модель отклонять атакующие запросы, сохраняя при этом полезность на легитимных запросах.

Red teaming — это систематический поиск уязвимостей модели путём имитации атак. Команда red team (люди или автоматические инструменты) генерирует jailbreak-промпты, чтобы выявить слабые места. Результаты red teaming используются для создания датасета для adversarial fine-tuning.

2. Зачем нужна защита от jailbreak?

Без защиты LLM может:

• Генерировать вредоносный контент (инструкции по насилию, наркотикам, кибератакам).
• Раскрывать конфиденциальные данные (если модель обучена на приватной информации).
• Нарушать политики платформы (например, генерировать оскорбления, дискриминационные высказывания).
• Подрывать доверие пользователей и регуляторные требования (AI Act, Executive Order).

Adversarial fine-tuning — один из ключевых методов в пайплайне alignment, наряду с RLHF и Constitutional AI.

3. Процесс Adversarial Fine-Tuning

Процесс состоит из нескольких этапов:

1. Red teaming:

   • Ручное тестирование: эксперты придумывают jailbreak-промпты.
   • Автоматическое: использование инструментов (Garak, Promptfoo, собственные скрипты) для генерации тысяч атак.
   • Результат: список успешных атак (промптов, на которые модель дала опасный ответ).

2. Генерация adversarial датасета:

   • Для каждого успешного атакующего промпта создаётся безопасный целевой ответ (например, «Извините, я не могу ответить на этот вопрос»).
   • Датасет дополняется чистыми инструкциями (например, из Alpaca, Dolly) для сохранения качества.
   • Важно: adversarial примеры не должны быть единственными; их доля обычно 10–30% от общего объёма.

3. Fine-tuning:

   • Используется supervised fine-tuning (SFT) на смешанном датасете.
   • Возможно применение RLHF с наградой за безопасность или DPO (Direct Preference Optimization) на парах (безопасный ответ vs опасный ответ).
   • Гиперпараметры: learning rate (обычно 1e-5 – 5e-5), количество эпох (1–3), batch size.

4. Оценка robustness:

   • Тестирование на новых, невиданных атаках (out-of-distribution).
   • Измерение Attack Success Rate (ASR) — доли атак, которые всё ещё обходят защиту.
   • Оценка качества на чистых запросах (perplexity, полезность ответов).

4. Методы генерации adversarial примеров

Для adversarial fine-tuning обычно комбинируют несколько методов, чтобы покрыть широкий спектр атак.

5. Разница между Adversarial Training и Adversarial Fine-Tuning

В контексте LLM под «adversarial fine-tuning» обычно понимают именно дообучение на adversarial примерах.

6. Влияние на качество (Alignment Tax)

Adversarial fine-tuning может привести к:

• Over-refusal: модель начинает отклонять даже безопасные запросы, если они похожи на атаки (например, «Как сделать бомбу?» в учебных целях).
• Потеря креативности: модель становится слишком осторожной, избегает нестандартных ответов.
• Catastrophic forgetting: модель забывает часть знаний, особенно если adversarial данные доминируют.

Методы смягчения:

• Смешивание с чистыми данными (обычно 70–90% чистых).
• Использование KL-штрафа в RLHF, чтобы не отклоняться далеко от исходной модели.
• DPO с регуляризацией (например, β-параметр).
• Итеративное red teaming и fine-tuning с постепенным увеличением сложности атак.

7. Оценка robustness

Основные метрики:

• Attack Success Rate (ASR): доля атак, на которые модель дала опасный ответ. Чем ниже, тем лучше.
• Resistance to unknown attacks: тестирование на атаках, не использовавшихся при fine-tuning (например, новые шаблоны).
• Safety benchmarks: AdvBench, HarmBench, SafetyBench — стандартные наборы атак.
• Quality metrics: perplexity на чистых данных, оценка полезности (helpfulness) через человеческие предпочтения или LLM-as-a-judge.

Пример таблицы результатов:

8. Связь с другими методами alignment

Adversarial fine-tuning не существует в вакууме. Он часто комбинируется с:

• RLHF (Reinforcement Learning from Human Feedback): награда за безопасность может быть частью reward model. Adversarial примеры используются как негативные примеры.
• DPO (Direct Preference Optimization) : альтернатива RLHF, где предпочтения (безопасный ответ > опасный) задаются напрямую. Adversarial fine-tuning можно рассматривать как частный случай DPO.
• Constitutional AI: модель обучается следовать набору правил (конституции), а не только на adversarial примерах. Меньше alignment tax.
• Red teaming как сервис: непрерывный цикл: red team → fine-tune → evaluate → repeat.

9. Практические рекомендации

• Начинайте с малого: сначала fine-tune на 1000–5000 adversarial примеров, оцените ASR и качество.
• Используйте разнообразные атаки: не полагайтесь только на один метод (например, GCG). Включайте ручные шаблоны, перефразирование, многоязычные атаки.
• Балансируйте датасет: доля adversarial примеров не должна превышать 30%, иначе качество упадёт.
• Проверяйте обобщение: тестируйте на атаках, которых не было в обучении (out-of-distribution).
• Итеративно улучшайте: после каждого раунда fine-tuning проводите новое red teaming, добавляйте успешные атаки в датасет.

10. Примеры из индустрии

• Llama 2 (Meta): использовали extensive red teaming и adversarial fine-tuning. В отчёте указано, что они обучили модель на смеси чистых и adversarial данных, что снизило ASR с 80% до ~10% без значительной потери полезности.
• GPT-4 (OpenAI): safety system включает fine-tuning на adversarial примерах, сгенерированных как людьми, так и автоматическими инструментами. Также используется rule-based reward model.
• Claude (Anthropic): применяет Constitutional AI, где adversarial fine-tuning — часть процесса, но акцент на правилах, а не на примерах.

Пет-проект для закрепления

Задача: Защитить небольшую LLM (например, GPT-2 small) от простых jailbreak-атак с помощью adversarial fine-tuning.

Инструменты:

• Hugging Face Transformers, Datasets, Trainer.
• Библиотека для генерации атак: textattack или самописные шаблоны.
• Датасет чистых инструкций: tatsu-lab/alpaca.

Шаги:

1. Загрузите предобученную GPT-2 (gpt2).
2. Сгенерируйте 500 adversarial промптов на основе известных шаблонов (DAN, roleplay, перевод на другой язык). Для каждого промпта задайте безопасный ответ: «I cannot answer that.»
3. Создайте датасет: объедините 2000 чистых примеров из Alpaca и 500 adversarial примеров.
4. Fine-tune модель с помощью Trainer (learning rate=2e-5, 2 эпохи).
5. Оцените ASR на тестовом наборе из 100 новых атак (не использовавшихся в обучении).
6. Сравните perplexity на чистых данных до и после fine-tuning.

Ожидаемый результат: ASR снизится с ~70% до ~20%, perplexity вырастет не более чем на 10–15%.

Связь с другими вопросами

Навигация

• Предыдущий: 359
• Следующий: 361
• Индекс: 00. Индекс разборов