ТЕХНИЧЕСКОЕ ЗАДАНИЕ: RAG с мультиязычным поиском (русский/английский/китайский)

1. Цель задачи

Разработать прототип RAG-системы (Retrieval-Augmented Generation), использующий мультиязычный эмбеддер BGE-M3 для индексации и поиска документов на русском, английском и китайском языках. Система должна принимать запросы на любом из трёх языков и возвращать релевантные документы из единого корпуса, содержащего документы на всех трёх языках. Ключевой результат значение метрики Recall@10 > 0.8 на каждом из трёх языков для тестового набора запросов.

2. Исходные данные

Если нет реального инструмента — симулируем:

1. Для генерации корпуса документов напишите Python-скрипт, который создаёт 100 текстов на каждом языке с помощью шаблонов или случайного набора предложений (без использования LLM). Например, комбинируйте готовые фразы из технических статей.
2. Тестовые запросы составляются вручную на основе первых 10 документов каждого языка. Для каждого запроса запишите ID релевантного документа в файл ground_truth.json.

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка данных и окружения (оценка времени: 1 час)

Действия

1. Создайте виртуальное окружение и установите зависимости:

   pip install transformers torch faiss-cpu pandas numpy scikit-learn
   

2. Загрузите модель BGE-M3:

   from transformers import AutoModel, AutoTokenizer
   model_name = "BAAI/bge-m3"
   tokenizer = AutoTokenizer.from_pretrained(model_name)
   model = AutoModel.from_pretrained(model_name)
   model.eval()
   

3. Сгенерируйте корпус документов (corpus.json):
   • Формат: список словарей {"id": int, "language": "ru"/"en"/"zh", "text": str}.
   • Для каждого языка создайте 100 текстов длиной 50–150 символов. Пример шаблона для русского:

     "Квантовый компьютер использует кубиты для параллельных вычислений."
     

   • Используйте комбинации тем: AI, космос, биотехнологии, физика.
4. Составьте ground truth (ground_truth.json):
   • Выберите первые 10 документов каждого языка (id 0–9 для ru, 100–109 для en, 200–209 для zh).
   • Для каждого документа придумайте запрос на том же языке, однозначно на него указывающий. Сохраните в формате:

     [
       {"query": "запрос на русском", "relevant_doc_id": 0, "language": "ru"},
       ...
     ]
     

Ожидаемый результат этапа Файлы corpus.json (300 документов) и ground_truth.json (30 запросов). Загруженная модель BGE-M3.

Этап 2: Получение эмбеддингов для корпуса (оценка времени: 1 час)

Действия

1. Напишите функцию encode_texts(texts, batch_size=32), которая:
   • Принимает список строк.
   • Токенизирует с параметром padding=True, truncation=True, max_length=512, return_tensors='pt'.
   • Пропускает через модель без градиентов, получает last_hidden_state, применяет mean pooling.
   • Возвращает массив numpy формы (n_texts, hidden_dim) – для BGE-M3 размерность 1024.
2. Примените функцию ко всем текстам корпуса, сохраните матрицу corpus_embeddings.npy.
3. Нормализуйте эмбеддинги (L2-норма) – это повысит качество косинусного поиска.

Ожидаемый результат этапа Матрица эмбеддингов corpus_embeddings.npy размером (300, 1024). Векторы нормализованы.

Этап 3: Индексирование и поиск (оценка времени: 0.5 часа)

Действия

1. Создайте индекс FAISS типа IndexFlatIP (скалярное произведение) или IndexFlatL2.

   import faiss
   dim = 1024
   index = faiss.IndexFlatIP(dim)   # для косинусного расстояния с нормализованными векторами
   index.add(corpus_embeddings)
   

2. Сохраните индекс на диск: faiss.write_index(index, "bge_m3_index.faiss").
3. Реализуйте функцию search(query, k=10):
   • Переводит запрос в эмбеддинг через encode_texts([Вики/Query|query).
   • Ищет в индексе index.search(query_emb, k).
   • Возвращает id ближайших документов и расстояния.

Ожидаемый результат этапа Индекс bge_m3_index.faiss, функция поиска работает.

Этап 4: Оценка качества поиска (Recall@10) (оценка времени: 1 час)

Действия

1. Для каждого запроса из ground_truth.json выполните поиск (k=10).
2. Вычислите Recall@10 для каждого языка отдельно:

   def recall_at_k(retrieved_ids, relevant_id, k=10):
       return 1.0 if relevant_id in retrieved_ids[:k] else 0.0
   

3. Усредните Recall@10 по всем запросам одного языка.
4. Выведите отчёт:

   Recall@10 (Russian): 0.90
   Recall@10 (English): 0.85
   Recall@10 (Chinese): 0.95
   

5. Если Recall@10 < 0.8 на каком-либо языке:
   • Проверьте качество запросов (не слишком ли общие).
   • Увеличьте корпус до 200 документов на язык.
   • Попробуйте добавить префикс инструкции: "Represent this sentence for searching relevant passages:" (для BGE-M3 рекомендуется).
   • Перезапустите этапы 2–4.

Ожидаемый результат этапа Значения Recall@10 для каждого языка, записанные в файл metrics.json.

Этап 5: Анализ и документирование (оценка времени: 0.5 часа)

Действия

1. Оформите Jupyter Notebook с последовательным выполнением всех шагов.
2. Добавьте в конец вывод метрик и примеры запросов с найденными документами.
3. Зафиксируйте в README.md:
   • Краткое описание задачи.
   • Инструкцию по запуску.
   • Достигнутые метрики.
   • Наблюдения: как язык запроса влияет на поиск, какие ошибки возникли.

Ожидаемый результат этапа Notebook multilingual_rag.ipynb, файл README.md.

5. Критерии приемки (Definition of Done)

• Реализован полный пайплайн: загрузка модели → эмбеддинги → индекс → поиск → метрики.
• Recall@10 на русском языке ≥ 0.8.
• Recall@10 на английском языке ≥ 0.8.
• Recall@10 на китайском языке ≥ 0.8.
• Код воспроизводим: все зависимости указаны в requirements.txt.
• Корпус документов содержит не менее 100 уникальных текстов на каждый язык.
• Ground truth включает 30 запросов (10 на язык) с правильными релевантными ID.
• Индекс FAISS сохранён как двоичный файл и может быть переиспользован.
• Результаты метрик выведены в консоль и сохранены в JSON.
• Jupyter Notebook оформлен с пояснениями и выводами.

6. Ожидаемый результат

1. Основной артефакт файл multilingual_rag.ipynb, содержащий:
   • Загрузку модели BGE-M3.
   • Генерацию корпуса документов (или загрузку из corpus.json).
   • Вычисление эмбеддингов.
   • Построение индекса FAISS.
   • Вычисление Recall@10 для всех трёх языков.
   • Вывод метрик и примеров.
2. Вспомогательные файлы
   • corpus.json – корпус документов.
   • ground_truth.json – тестовые запросы с релевантными ID.
   • bge_m3_index.faiss – сериализованный индекс.
   • corpus_embeddings.npy – эмбеддинги корпуса (опционально).
   • metrics.json – метрики Recall@10 по языкам.
   • requirements.txt – список зависимостей.
3. Дополнительно краткий отчёт в README.md с анализом сильных и слабых сторон мультиязычного поиска.

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание Для первого выполнения задачи заложите дополнительно 1 час на отладку и настройку модели (префиксы, batch_size). Оценка дана для выполнения на CPU с корпусом 300 документов. При использовании GPU время этапа 2 сокращается в 2–3 раза.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я создал виртуальное окружение и установил все зависимости из requirements.txt.
• Я сгенерировал корпус из 300 документов (100 на каждый язык) и сохранил его в JSON.
• Я составил 30 запросов (10 на каждый язык) с точным указанием релевантного документа.
• Я загрузил модель BGE-M3 и получил эмбеддинги для всего корпуса.
• Я построил индекс FAISS и выполнил поиск по всем тестовым запросам.
• Я вычислил Recall@10 для каждого языка и убедился, что все значения ≥ 0.8.
• Я оформил код в Jupyter Notebook с подробными комментариями и выводами.
• Я проверил, что notebook воспроизводится с нуля (clean run).
• Я написал README с описанием задачи, инструкцией и результатами.