ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить query expansion с LLM и BM25

1. Цель задачи

Научиться улучшать recall поиска за счёт генерации синонимов и релевантных терминов к пользовательскому запросу с помощью LLM. Расширенный запрос подаётся в BM25, что позволяет находить документы, не содержащие точных слов исходного запроса. Цель — добиться прироста recall@10 не менее чем на 15% относительно baseline BM25, не ухудшив precision более чем на 5%.

Ключевой результат Рабочий пайплайн query expansion + BM25, измеренный прирост recall на тестовом наборе запросов.

2. Исходные данные

Если нет реального инструмента — симулируем:

1. Корпус: возьмите 100–200 текстов из проекта data/raw вашего pet-проекта или датасет ms_marco (10 документов на запрос).
2. Тестовые запросы: используйте 10 вопросов из датасета TREC или Natural Questions.
3. LLM: используйте gpt-3.5-turbo (очень дёшево, достаточно 50 запросов). Если нет API — возьмите flan-t5-large через Hugging Face.
4. Ground truth: используйте существующие разметки MS MARCO или TREC.

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка корпуса и baseline BM25 (1 час)

Действия

1. Скачать корпус из датасета ms_marco (колонка passages) или загрузить свои документы в формате JSONL (каждая строка — {"id": "...", "text": "..."}).
2. Проиндексировать корпус в Whoosh:

   from whoosh.index import create_in
   from whoosh.fields import Schema, TEXT, ID
   schema = Schema(id=ID(stored=True), content=TEXT(stored=True))
   ix = create_in("indexdir", schema)
   writer = ix.writer()
   for doc in corpus:
       writer.add_document(id=doc['id'], content=doc['text'])
   writer.commit()
   

3. Написать функцию bm25_search(query, k=10), возвращающую список (doc_id, score).
4. Подготовить тестовый набор запросов и ground truth:
   • Запросы: 20–30 штук, каждый — строка из 3–7 слов.
   • Для каждого запроса известны ID релевантных документов (можно взять из той же разметки MS MARCO qrels).
5. Запустить поиск для всех запросов:

   results = {}
   for q in queries:
       results[q] = [doc_id for doc_id, _ in bm25_search(q, k=10)]
   

6. Посчитать baseline recall@10 (len(set(results[q]) & set(relevant[q])) / len(relevant[q])) и precision@10.

Ожидаемый результат этапа Измеренные baseline метрики (например, recall@10 = 0.45, precision@10 = 0.60). Функции bm25_search и evaluate.

Этап 2: Реализация query expansion через LLM (1.5 часа)

Действия

1. Разработать промпт для генерации расширения запроса. Пример:

   You are a search query expansion assistant. Given a user query, generate up to 5 alternative formulations, synonyms, or related terms that could help retrieve relevant documents. Output only a comma-separated list, no explanations. Query: {query}
   

2. Реализовать функцию expand_query(query, llm_backend):
   • Вызвать LLM (через OpenAI API или локально).
   • Распарсить ответ (список слов/фраз).
   • Склеить исходный запрос и расширения в одну строку (например, original_query synonym1 synonym2 ...).
3. Протестировать на 3–5 запросах вручную: убедиться, что синонимы осмысленные.
4. Обработать крайние случаи:
   • Если LLM возвращает пустой ответ — использовать только исходный запрос.
   • Если ответ слишком длинный (>100 слов) — обрезать до первых 10 токенов.

Ожидаемый результат этапа Функция expand_query, протестированная на выборке. Логи примеров расширений.

Этап 3: Интеграция расширенного запроса с BM25 (30 минут)

Действия

1. Создать функцию search_with_expansion(query, k=10):
   • Вызвать expand_query(query).
   • Вызвать bm25_search(expanded_query, k=k).
2. Запустить её на всех тестовых запросах.
3. Посчитать метрики recall@10, precision@10.

Ожидаемый результат этапа Значения метрик после expansion (например, recall@10 = 0.53, precision@10 = 0.55). Сравнение с baseline.

Этап 4: Оптимизация и анализ (1 час)

Действия

1. Выяснить, какие запросы выиграли больше всего, а какие проиграли.
2. Настроить параметры:
   • Количество генерируемых синонимов (попробуйте 3, 7, 10).
   • Стратегия объединения: OR-буст исходных слов, взвешенная сумма.
   • Фильтрация плохих расширений (n-граммы, stopwords).
3. Проверить альтернативный промпт, который просит LLM выделить ключевые понятия, а не синонимы.
4. Если precision упал >5% — ввести вес: исходный запрос подаётся с бустом (например, original^3 synonym1 synonym2), если BM25 поддерживает boosting (Whoosh — нет, Elasticsearch — да). Для Whoosh можно повторять исходные слова несколько раз.

Ожидаемый результат этапа Достигнутый прирост recall ≥15% при падении precision ≤5%. Зафиксированные гиперпараметры.

Этап 5: Документирование и выводы (30 минут)

Действия

1. Оформить отчёт: таблица с результатами (baseline vs expanded), примеры успешных и неуспешных запросов.
2. Написать краткое описание использованного промпта и настроек.
3. Собрать код в единый скрипт query_expansion.py.

Ожидаемый результат этапа Файл RESULTS.md с метриками, выводами, скриптом.

5. Критерии приемки (Definition of Done)

• Baseline recall@10 и precision@10 зафиксированы.
• Реализована функция expand_query, вызывающая LLM.
• Пайплайн поиска с expansion даёт recall@10 ≥ baseline + 15% (абсолютных процентных пунктов? Лучше относительный прирост: если baseline = 0.45, то target ≥ 0.45*1.15 = 0.5175).
• Precision@10 упал не более чем на 5% (от baseline, например с 0.60 до не ниже 0.57).
• Все тестовые запросы обработаны без ошибок.
• Код и промпт задокументированы в README проекта.

6. Ожидаемый результат

• Основной артефакт Python‑скрипт query_expansion_pipeline.py, который принимает корпус, индексирует, прогоняет baseline и expansion, выводит метрики.
• Дополнительно Файл RESULTS.md с таблицей метрик по каждому запросу и общими цифрами.
• Пример содержания RESULTS.md

  ## Результаты query expansion (BM25 + LLM)
  | Метрика | Baseline | Expanded | Δ |
  |---------|----------|----------|----|
  | Recall@10 | 0.45 | 0.53 | +17.8% |
  | Precision@10 | 0.60 | 0.58 | -3.3% |
  

• Опционально Сравнение разных LLM (GPT-4o vs Mixtral) и разных k.

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание: Для первого раза рекомендуется заложить +1 час на отладку LLM запросов и чистку данных.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я оценил baseline BM25 на тестовых запросах до внедрения расширения.
• Убедился, что LLM даёт осмысленные расширения (визуально проверил 5 примеров).
• Проверил, что итоговый recall@10 действительно ≥ baseline + 15%, а precision упал не более чем на 5%.
• Реализовал обработку ошибок LLM (timeout, пустой ответ).
• Задокументировал все шаги и результаты в едином файле.