ТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с HyDE (Hypothetical Document Embeddings)

1. Цель задачи

Научиться строить RAG-систему с использованием техники HyDE (Hypothetical Document Embeddings), когда на короткий запрос сначала генерируется гипотетический ответ с помощью LLM, а затем его эмбеддинг используется для поиска релевантных документов. Это позволяет повысить recall на коротких запросах, где исходный запрос может быть неинформативным для семантического поиска.

Ключевой результат Рабочий пайплайн RAG с HyDE, который демонстрирует прирост recall@k не менее +20% на тестовом наборе коротких запросов по сравнению с базовой RAG без HyDE.

2. Исходные данные

Перед началом необходимо иметь:

Если нет реального LLM API — симулируем:

1. Заменить LLM на простую генерацию по шаблону: например, «Ответ на запрос [запрос]: [заполнить из найденных в корпусе ключевых фраз]» — это ухудшит качество, но позволит проверить pipeline.
2. Использовать локальную модель через Ollama (например, llama3.2:1b — достаточно для демонстрации).
3. Вместо HyDE просто дублировать запрос в качестве гипотетического ответа — baseline не улучшится, но код будет рабочим.

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка окружения и данных (1 час)

Действия

1. Установите зависимости: pip install chromadb sentence-transformers openai langchain langchain-community numpy scikit-learn jupyter
2. Скачайте или создайте корпус документов (100–200 текстовых фрагментов).
   • Пример: взять 10 статей из Википедии, разбить на параграфы по 200–300 токенов.
3. Сформируйте тестовый набор из 20–30 коротких запросов, каждый длиной 3–10 слов. Пример:
   • «столица Франции»
   • «средняя температура на Марсе»
   • «автор романа Война и мир»
4. Разбейте корпус на обучающую (90%) и тестовую (10%) части — последнюю используйте как ground truth для оценки retrieval (каждый запрос должен иметь список релевантных документов из тестовой части).

Ожидаемый результат этапа

• Файл corpus.json со списком документов.
• Файл queries.json со списком запросов и id релевантных документов.
• Рабочее окружение с установленными библиотеками.

Этап 2: Базовая RAG (baseline) (1–1.5 часа)

Действия

1. Реализуйте индексацию корпуса:
   • Загрузите эмбеддер (from sentence_transformers import SentenceTransformer).
   • Вычислите эмбеддинги всех документов.
   • Запишите в векторную БД (Chroma: chromadb.Client().create_collection).
2. Реализуйте поиск: на запрос получаете эмбеддинг запроса → top-k (k = 10) ближайших документов.
3. Для каждого запроса из тестового набора вычислите метрики:
   • recall@k (доля релевантных документов среди top-k),
   • hit_rate@k (хотя бы один релевантный есть в top-k),
   • MRR@k.
4. Зафиксируйте результаты baseline.

Ожидаемый результат этапа

• Код baseline_rag.py или ноутбук с реализацией.
• Таблица метрик (recall@10, hit_rate@10, MRR@10) для baseline.

Этап 3: Реализация HyDE (2–3 часа)

Действия

1. Создайте модуль генерации гипотетического ответа
   • Используйте LLM (OpenAI или локальную) для генерации текста на запрос.
   • Промпт: «Предположи, какой ответ может быть дан на вопрос: "{query}". Напиши гипотетический ответ в 2–3 предложения.»
   • Если LLM недоступна, используйте симуляцию: возвращайте запрос как есть или добавляйте «Ответ на запрос: [query]».
2. Получите эмбеддинг гипотетического ответа (тем же эмбеддером, что и для документов).
3. Выполните поиск по этому эмбеддингу в той же векторной БД (top-k = 10).
4. Сравните результаты с baseline:
   • Прогоните те же запросы, замерьте recall@k.
   • Если recall улучшился на ≥20% — задача выполнена.
5. Проверьте влияние длины генерации: попробуйте разные размеры гипотетического ответа (1 предложение, 3 предложения, целый абзац). Запишите выводы.

Ожидаемый результат этапа

• Код hyde_rag.py с функцией hyde_search(query).
• Таблица метрик для HyDE.
• Сравнительная таблица: baseline vs HyDE для каждого запроса.

Этап 4: Анализ результатов и оптимизация (1 час)

Действия

1. Выявите запросы, где HyDE улучшил recall, и где ухудшил.
2. Проанализируйте гипотетические ответы — не содержат ли они шума или слишком общей информации.
3. Опционально:
   • Добавьте фильтрацию по длине гипотетического ответа (min 20 слов).
   • Используйте разные promt для LLM (более конкретный).
   • Смешайте эмбеддинг запроса и гипотетического ответа (взвешенная сумма).
4. Зафиксируйте лучшую конфигурацию.

Ожидаемый результат этапа

• Итоговая таблица метрик с комментариями.
• Выводы о типе запросов, на которых HyDE наиболее эффективен.

Этап 5: Документирование и воспроизводимость (30 минут)

Действия

1. Оформите код в виде Python-скриптов с README.
2. Включите инструкцию по запуску (установка зависимостей, API ключи).
3. Зафиксируйте версии библиотек в requirements.txt.
4. Напишите краткий отчёт (PDF или Markdown) с методологией, результатами и выводами.

Ожидаемый результат этапа

• Репозиторий с кодом, данными (корпус, запросы) и отчётом.

5. Критерии приемки (Definition of Done)

• Реализована базовая RAG (без HyDE) с измеренными метриками recall@10, hit_rate@10.
• Реализована RAG с HyDE: генерация гипотетического ответа → эмбеддинг → поиск.
• На тестовом наборе коротких запросов recall@10 вырос не менее чем на 20% по сравнению с baseline.
• Код воспроизводим: все зависимости указаны, инструкция по запуску приложена.
• Все метрики считаются по одинаковому корпусу и тестовым запросам.
• Отчёт содержит сравнение baseline и HyDE, описание методики и выводы.
• Исходные тексты гипотетических ответов (хотя бы 5 примеров) приведены в отчёте.
• Код проходит линтинг (flake8) без ошибок (опционально).

6. Ожидаемый результат

Основной артефакт Пайплайн RAG с HyDE в виде набора Python-скриптов (baseline_rag.py, hyde_rag.py, evaluate.py) или Jupyter Notebook.

Содержание

• Функция index_corpus(documents) — индексация корпуса.
• Функция retrieve(query, k=10) — базовый retrieval.
• Функция augment_with_hyde(query, llm_func, embedder) — генерация гипотетического ответа и его эмбеддинг.
• Функция evaluate(queries, relevant, retriever) — расчёт метрик.

Дополнительные артефакты

• Корпус документов (corpus.json).
• Тестовые запросы с ground truth (queries.json).
• Отчёт (PDF/Markdown) с результатами и выводами.

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание Для первого раза заложите дополнительно 1–2 часа на настройку LLM (если используется API) и отладку генерации.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я проверил, что baseline и HyDE используют одинаковые эмбеддеры и векторную БД (только способ получения запроса разный).
• Я убедился, что тестовые запросы действительно короткие (≤10 слов) и что для них размечены релевантные документы.
• Я зафиксировал seed для эмбеддера и temperature=0 для LLM, чтобы результаты были воспроизводимы.
• Я сравнил recall@k не только при k=10, но и при k=5, k=20 для полноты картины.
• Я задокументировал все исключения (запросы, где HyDE ухудшил результат) и объяснил возможные причины.