ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить RLAIF для генерации предпочтений

1. Цель задачи

Разработать пайплайн RLAIF (Reinforcement Learning from AI Feedback), в котором LLM-учитель генерирует бинарные предпочтения (chosen/rejected) для пар ответов на инструкции, с последующей верификацией согласованности с human-оценками. Цель — получить автоматический генератор предпочтений, способный достичь agreement >0.8 с человеческими аннотаторами на валидационном наборе, что позволит масштабировать сбор данных для обучения Reward Model или методов DPO/PPO.

Ключевой результат Agreement между AI-предпочтениями и human-предпочтениями на тестовом наборе ≥ 0.8 (Cohen's Kappa или точность бинарного выбора).

2. Исходные данные

Если нет реального инструмента — симулируем:

1. Скачайте 300-500 промптов из HuggingFace датасета Anthropic/hh-rlhf (раздел train, только первые 500 записей).
2. Сгенерируйте для каждого промпта два ответа с помощью Qwen2.5-7B-Instruct (temperature=0.7, top_p=0.9) — по два разных сида.
3. Вручную разметьте 200 пар как chosen/rejected (human preference ground truth), используя простые критерии: полезность, безопасность, полнота.
4. Храните всё в CSV с колонками: prompt, response_a, response_b, human_chosen (a или b).

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка seed-данных и ground truth (1.5 часа)

Действия

1. Установить зависимости: pip install transformers vllm datasets scikit-learn pandas wandb jinja2
2. Загрузить 500 промптов из Anthropic/hh-rlhf:

   from datasets import load_dataset
   ds = load_dataset("Anthropic/hh-rlhf", split="train")
   prompts = [item["chosen"] for item in ds.select(range(500))]  # используем chosen как прокси промпта
   

   Примечание: реальные промпты — это часть диалога, оставляем только последнее сообщение пользователя.
3. Для каждого промпта сгенерировать два ответа (A и B) с помощью LLM-генератора (Qwen2.5-7B-Instruct):
   • Параметр temperature=0.7, top_p=0.9, max_new_tokens=256.
   • Сохранить в DataFrame с колонками: id, prompt, response_a, response_b.
4. Подготовить ground truth: для 200 случайных примеров из полученного датасета попросить 2-3 человек (или использовать LLM-асистента с известными предпочтениями) выбрать chosen ответ. Сохранить в data/human_gt.csv с колонками id, human_chosen (значения 'a' или 'b').

Ожидаемый результат этапа CSV-файл с 500 промптами, парами ответов и файл ground truth для 200 примеров.

Этап 2: Разработка промпта для RLAIF-фидбека (1 час)

Действия

1. Изучить референсные промпты из статьи RLAIF (Bai et al., 2022) и из открытых реализаций (например, trl). Создать шаблон, который просит LLM-учителя выбрать лучший ответ на основе заданных критериев:

   You are a helpful assistant that evaluates responses to user instructions.
   Given the user instruction:
   {{ prompt }}
   
   Here are two responses:
   Response A: {{ response_a }}
   Response B: {{ response_b }}
   
   Which response is better? Consider helpfulness, harmlessness, and correctness.
   Respond with "A" if response A is better, "B" if response B is better.
   Output only one letter.
   

2. Оценить качество промпта на 10 примерах из ground truth: сравнить результаты AI-фидбека с human. Если agreement <0.6, модифицировать промпт (добавить few-shot примеры, уточнить критерии).
3. Зафиксировать финальную версию промпта в prompts/rlaif_prompt.j2.

Ожидаемый результат этапа Файл с промптом и начальная оценка agreement ~0.5-0.7 на малой выборке.

Этап 3: Генерация AI-предпочтений для всего датасета (1 час)

Действия

1. Загрузить 500 примеров из Этапа 1 (без ground truth) и прогнать через LLM-учитель (gpt-4o-mini или Qwen2.5-32B-Instruct) с промптом из Этапа 2. Использовать batch-обработку:

   import openai
   client = openai.OpenAI()
   def get_preference(prompt, resp_a, resp_b):
       response = client.chat.completions.create(
           model="gpt-4o-mini",
           messages=[{"role": "system", "content": prompt.format(prompt=prompt, response_a=resp_a, response_b=resp_b)}],
           temperature=0.0,
           max_tokens=1
       )
       choice = response.choices[0].message.content.strip()
       return choice  # "A" или "B"
   

   Если используете open-source модель, настройте vLLM для быстрого инференса: python -m vllm.entrypoints.openai.api_server --model Qwen2.5-32B-Instruct.
2. Сохранить результат в data/ai_preferences.csv (колонки: id, ai_chosen).
3. Для контроля качества выборочно проверить 20 сгенерированных пар, исправить явные ошибки (например, когда модель отвечает "B" для явно худшего ответа). Внести правки в датасет (заменить значение).

Ожидаемый результат этапа CSV-файл с AI-предпочтениями для всех 500 примеров.

Этап 4: Оценка agreement с human и итеративное улучшение (1.5 часа)

Действия

1. Объединить human_gt.csv и ai_preferences.csv по id. Вычислить метрики:

   from sklearn.metrics import cohen_kappa_score, accuracy_score
   # согласие: human_chosen == ai_chosen
   accuracy = accuracy_score(df['human_chosen'], df['ai_chosen'])
   kappa = cohen_kappa_score(df['human_chosen'], df['ai_chosen'])
   

2. Если agreement (accuracy) ≥ 0.8 — задача выполнена. Иначе:
   • Проанализировать ошибки: построить матрицу ошибок, выделить примеры, где AI ошибся.
   • Обновить промпт учителя: добавить конкретные правила (например, "если оба ответа хороши, выбирай более информативный").
   • Повторить Этап 3 для 100 случайных примеров (или для всей выборки, если позволяет бюджет API).
   • Снова оценить agreement. Возможно понадобится 2-3 итерации.
3. Задокументировать итоговую версию промпта и метрики.

Ожидаемый результат этапа Итоговый agreement ≥ 0.8, отчёт с анализом ошибок и финальный промпт.

Этап 5: Фиксация пайплайна и скрипт (0.5 часа)

Действия

1. Оформить код в единый скрипт rlaif_pipeline.py, который принимает на вход файл с промптами/ответами, файл ground truth (опционально), и выводит файл с предпочтениями и метрику agreement.
2. Добавить requirements.txt, README.md с инструкцией по запуску.
3. Сохранить все артефакты: финальный промпт, датасет AI-предпочтений, отчет.

Ожидаемый результат этапа Законченный код, документация, готовый пайплайн.

5. Критерии приемки (Definition of Done)

• Разработан скрипт генерации AI-предпочтений с использованием промпта-шаблона.
• Сгенерированы предпочтения для минимум 200 промптов (или всего датасета).
• Agreement (точность бинарного сравнения) с human-оценками ≥ 0.8.
• Cohen's Kappa ≥ 0.6 (показатель надёжности).
• Проведён анализ ошибок: определены категории расхождений (неоднозначность, неверная интерпретация).
• Финальный промпт зафиксирован и описан в README.
• Результаты залогированы в wandb (или сохранены в локальный CSV-лог).
• Код опубликован в репозитории с комментариями.

6. Ожидаемый результат

Главный артефакт — датасет ai_preferences.csv с колонками: id, prompt, response_a, response_b, ai_chosen, human_chosen (если есть). Дополнительно:

• Скрипт rlaif_pipeline.py с функцией generate_preferences().
• Файл prompts/rlaif_prompt.j2.
• Отчёт report.md с метриками и анализом ошибок.
• Лог эксперимента в wandb (проект rlaif-preference).

Опционально: обученная Reward Model на полученных данных (не входит в задачу, но может быть сделано на следующем шаге).

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

При первом выполнении рекомендуется добавить +2 часа на ознакомление с инструментами и отладку.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я подготовил ground truth для минимум 200 пар ответов, используя человеческую разметку или проверенный датасет.
• Я протестировал промпт на 10 примерах и убедился, что LLM выдаёт только "A"/"B".
• Я залогировал все итерации промпта и полученные agreement метрики.
• Я вычислил не только accuracy, но и Cohen's Kappa для учёта случайного совпадения.
• Я проанализировал ошибки и описал их категории (например, длинные vs короткие, фактологически некорректные).
• Я добавил в репозиторий README с инструкцией по воспроизведению.
• Финальный agreement ≥ 0.8.