ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить contextual retrieval (Anthropic стиль)

1. Цель задачи

Научиться обогащать чанки документов информацией о контексте (заголовок раздела, соседние чанки, краткое резюме) перед индексацией и поиском. Это повышает релевантность retrieval на неоднозначных запросах, где базовая семантика чанка не отражает его место в документе. Вы реализуете подход, описанный в статье Anthropic о contextual retrieval, и оцените его влияние на recall.

Ключевой результат Recall@10 на наборе ambiguous queries (неоднозначных запросов) увеличивается на 20% относительно baseline (обычные чанки без обогащения).

2. Исходные данные

Если нет реального инструмента — симулируем:

1. Скачать датасет wiki_qa или SQuAD 2.0 (можно через datasets библиотеку).
2. Разбить каждый документ на чанки по 512 токенов без перекрытия (baseline).
3. Сгенерировать ambiguous queries: взять вопрос из SQuAD, но удалить ключевые сущности, чтобы без контекста чанка было непонятно. Например:
   • Оригинал: «Какова высота Эвереста?»
   • Ambiguous: «Какова его высота?» (без указания объекта).
4. Вручную составить mapping: для каждого ambiguous query — правильный чанк (ground truth) на основе полного контекста документа.

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка данных и baseline (1 час)

Действия

1. Загрузить и подготовить датасет

   • Скачать 50–100 документов (например, статьи arXiv, разделы Wikipedia).
   • Сохранить каждый документ в отдельный .txt файл.

2. Разбить документы на чанки

   • Использовать RecursiveCharacterTextSplitter с параметрами: chunk_size=512, chunk_overlap=50.
   • Сохранить чанки в DataFrame с колонками: doc_id, chunk_id, text, chunk_index.

3. Построить baseline retrieval pipeline

   from sentence_transformers import SentenceTransformer
   model = SentenceTransformer('all-MiniLM-L6-v2')
   chunk_embeddings = model.encode(chunks['text'].tolist())
   

   • Загрузить эмбеддинги в Qdrant/FAISS.

4. Создать тестовый набор ambiguous queries

   • Составить 30–50 запросов (см. п.2).
   • Для каждого запроса вручную указать ground_truth_chunk_ids (1–2 правильных чанка).

5. Измерить baseline recall

   • Выполнить поиск для каждого запроса (k=10).
   • Рассчитать recall@10 и hit rate@10.
   • Зафиксировать значения: например, recall@10 = 0.45.

Ожидаемый результат этапа

• Рабочий baseline pipeline.
• Метрики baseline (recall, hit rate) в логе.

Этап 2: Разработка стратегии обогащения контекстом (1.5 часа)

Действия

1. Выбрать тип контекстной информации

   • Вариант A (рекомендуемый): Добавить к чанку заголовок документа + заголовок раздела (если есть).
   • Вариант B (Anthropic‑style): Добавить короткое резюме (2–3 предложения), сгенерированное LLM.
   • Вариант C Добавить текст предыдущего и следующего чанка (скользящее окно).

2. Написать функцию обогащения

   def enrich_chunk(doc, chunk, position='single'):
       if position == 'single':
           context = f"[Doc: {doc['title']}]\n{chunk['text']}"
       elif position == 'window':
           context = f"{prev_chunk}\n---\n{chunk}\n---\n{next_chunk}"
       return context
   

3. Интеграция с LLM (опционально, для варианта B):

   • Использовать openai.ChatCompletion или локальную модель.
   • Prompt: «Сгенерируй краткое описание контекста этого чанка в рамках документа: {chunk_text}. Документ: {doc_title}.»
   • (Для экономии токенов можно применять LLM только к первому чанку раздела.)

4. Создать enriched version чанков

   • Применить выбранную стратегию ко всем чанкам.
   • Сохранить обогащённые тексты в новой колонке enriched_text.

Ожидаемый результат этапа

• Функция обогащения (Python код).
• Датафрейм с обогащёнными текстами.

Этап 3: Интеграция обогащения в retrieval pipeline (1 час)

Действия

1. Построить новый индекс на обогащённых текстах

   • Закодировать enriched_text той же моделью эмбеддингов.
   • Создать отдельную коллекцию в Qdrant (например, contextual_retrieval).

2. Настроить поиск

   • Использовать те же самые ambiguous queries (без изменений).
   • После поиска получить chunk_id, затем маппинг обратно к исходному chunk_id (если используете enriched‑тексты только для индексации, но ответы возвращаете из обычных чанков).

3. Написать скрипт A/B тестирования

   def evaluate(pipeline, queries, ground_truth, k=10):
       recalls = []
       for q, gt in zip(queries, ground_truth):
           results = pipeline.search(q, k=k)
           retrieved_ids = [r.id for r in results]
           recall = len(set(gt) & set(retrieved_ids)) / len(gt)
           recalls.append(recall)
       return np.mean(recalls)
   

Ожидаемый результат этапа

• Вторая коллекция эмбеддингов.
• Функция evaluate().

Этап 4: Оценка на ambiguous queries и сравнение с baseline (1 час)

Действия

1. Запустить оценку enriched pipeline

   • Получить recall@10 для всех ambiguous queries.
   • Записать результаты в таблицу: query_id, baseline_recall, enriched_recall.

2. Визуализировать улучшение

   • Построить гистограмму распределения recall для обеих версий.
   • Вычислить среднее улучшение: (enriched - baseline) / baseline * 100%.

3. Проанализировать случаи без улучшения

   • Выписать 3–5 запросов, где recall не вырос.
   • Определить, почему обогащение не помогло (например, слишком длинный контекст, шум).

Ожидаемый результат этапа

• Метрики enriched pipeline.
• График сравнения.
• Аналитический комментарий.

Этап 5: Итерация и оптимизация (1 час)

Действия

1. Попробовать альтернативные стратегии обогащения

   • Если использовали только заголовок — добавить соседние чанки.
   • Если использовали LLM‑резюме — уменьшить длину промпта.

2. Повторить оценку для каждой стратегии

   • Ведение лога в таблице (см. ниже).

3. Выбрать лучшую стратегию

   • Критерий: максимальный recall@10 при сохранении hit rate не ниже baseline.

4. Задокументировать окончательный pipeline

   • Оформить как Python‑скрипт с аргументами (--index, --strategy, --k).

Таблица сравнения стратегий

Ожидаемый результат этапа

• Финальная конфигурация обогащения.
• Отчёт с выводами.

5. Критерии приемки (Definition of Done)

• Baseline‑пайплайн воспроизводится и даёт стабильные метрики (отклонение < 2%).
• Реализована хотя бы одна стратегия обогащения контекстом.
• Enriched‑пайплайн протестирован на тех же ambiguous queries.
• Recall@10 на enriched‑пайплайне превышает baseline не менее чем на 20%.
• Код задокументирован (docstrings, README).
• График сравнения метрик приложен.
• Описаны неудачные случаи и возможные причины.
• Pipeline опубликован в репозитории (GitHub/GitLab) с инструкцией по запуску.

6. Ожидаемый результат

Основной артефакт Python‑ноутбук (contextual_retrieval.ipynb) или скрипт, содержащий:

• Загрузку данных и разбиение на чанки.
• Baseline‑оценку.
• Функцию обогащения (с выбором стратегии).
• Построение enriched‑индекса.
• Функцию оценки.
• Сравнительную таблицу метрик.
• Графики распределения recall.

Дополнительные результаты

• Набор ambiguous queries в формате JSON.
• Файл с grounding‑truth (ground_truth.json).
• Лог эксперимента (MLflow или CSV).

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание Если используется LLM через API, добавьте время на отладку промптов (~30 мин).

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я проверил, что baseline‑метрики воспроизводятся при повторном запуске.
• Я убедился, что ambiguous queries действительно неоднозначны (без контекста ответ не очевиден).
• Моя функция обогащения корректно обрабатывает краевые случаи (первый/последний чанк).
• Я сравнил enriched‑результаты с baseline на одних и тех же запросах.
• Я задокументировал выбранную стратегию и обосновал её преимущество перед альтернативами.