ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Fine-tune embedding под домен

1. Цель задачи

Научиться настраивать предобученную эмбеддинг-модель (sentence transformer) под специфический домен с использованием triplet loss на ограниченном наборе данных (1000 примеров). Ожидается улучшение качества retrieval (Recall@10) минимум на 15% относительно baseline без fine-tuning.

Ключевой результат Fine-tuned модель эмбеддингов, которая на тестовом наборе доменных запросов показывает Recall@10 выше базовой модели на ≥15%.

2. Исходные данные

Если нет реального домена — симулируем:

1. Выбрать тематику, например "медицинские статьи" или "юридические документы"
2. Скачать датасет с HuggingFace (например, medical_qa, legal_case_docs), или сгенерировать синтетические данные
3. Разбить на документы, создать запросы (вопросы/описания)

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка данных (2-3 часа)

Действия

1. Выбрать домен и скачать датасет (например, pubmed_qa или wiki_medical). Если нет готового — собрать 1000+ документов из открытых источников (статьи, FAQ).
2. Разбить длинные документы на чанки (например, по 256 токенов с overlap 32).
3. Сформировать обучающие триплеты:
   • Anchor: запрос (например, вопрос или короткое описание)
   • Positive: релевантный чанк
   • Negative: нерелевантный чанк (можно взять случайный из другого документа)
   • Для каждого anchor нужен хотя бы один positive и один negative. Использовать стратегию hard negative mining (выбрать отрицательный пример, который похож на anchor по эмбеддингам baseline модели, но не релевантен).
4. Разделить данные: 800 триплетов на train, 200 на validation.
5. Подготовить тестовый набор: 50-100 запросов, для каждого — список релевантных документов (ground truth).
6. Сохранить данные в формате JSON/CSV.

# Пример структуры триплета
{
  "anchor": "What is the treatment for diabetes?",
  "positive": "Metformin is commonly prescribed for type 2 diabetes...",
  "negative": "The Earth orbits the Sun at a distance of..."
}

Ожидаемый результат этапа Файлы train_triplets.json, val_triplets.json, test_queries.json с ground truth.

Этап 2: Baseline и метрики (1 час)

Действия

1. Загрузить baseline модель: model = SentenceTransformer('all-MiniLM-L6-v2').
2. Закодировать все документы (чанки) эмбеддингами baseline.
3. Построить индекс FAISS (IndexFlatIP или IVFFlat).
4. Для каждого тестового запроса:
   • Получить эмбеддинг запроса
   • Найти top-10 ближайших документов
   • Проверить, сколько из них релевантны (по ground truth)
   • Вычислить Recall@10 = (количество релевантных в топ-10) / (всего релевантных для запроса)
5. Усреднить Recall@10 по всем запросам. Запомнить как baseline.
6. Записать baseline метрику.

Ожидаемый результат этапа Числовое значение Recall@10 для baseline (например, 0.45).

Этап 3: Реализация fine-tuning (2-3 часа)

Действия

1. Написать даталоадер для триплетов (anchor, positive, negative).
2. Определить модель для обучения:
   • Использовать sentence_transformers.models.Transformer + Pooling.
   • Или загрузить baseline и добавить обучаемый слой (если нужно full fine-tuning).
3. Настроить TripletLoss из sentence_transformers.losses.TripletLoss или реализовать свой:
   • loss = max(||anchor - positive|| - ||anchor - negative|| + margin, 0)
   • margin = 0.5 (подобрать).
4. Выбрать оптимизатор (AdamW, lr=2e-5) и scheduler (linear warmup).
5. Обучать модель на train триплетах:
   • number of epochs: 3-5 (смотреть на валидационный loss)
   • batch size: 16-32 (зависит от GPU)
   • логировать loss каждый шаг.
6. После каждой эпохи оценивать Recall@10 на валидационных запросах (не тестовых, чтобы не переобучиться).
7. Сохранить лучшую модель (по валидационному Recall@10) в папку fine_tuned_model.

Ожидаемый результат этапа Сохранённая fine-tuned модель и кривые обучения.

Этап 4: Оценка и сравнение (1 час)

Действия

1. Загрузить fine-tuned модель.
2. Закодировать все документы новыми эмбеддингами.
3. Построить новый FAISS индекс.
4. Вычислить Recall@10 на тестовых запросах (те же, что и для baseline).
5. Сравнить: новое значение против baseline.
6. Если улучшение ≥15% — задача выполнена. Если нет — провести анализ (возможно, нужно больше данных, hard negative mining, другие гиперпараметры).
7. Дополнительно: посмотреть другие метрики (MRR, Precision@5) для полноты.

Ожидаемый результат этапа Таблица сравнения метрик (baseline vs fine-tuned).

Этап 5: Документирование и выводы (30 минут)

Действия

1. Написать краткий отчёт: что делали, какие гиперпараметры, результаты.
2. Сохранить модель на HuggingFace Hub (опционально) или в репозиторий.
3. Сформулировать, какие типы запросов улучшились больше всего.

Ожидаемый результат этапа README.md с описанием опыта и ссылкой на модель.

5. Критерии приемки (Definition of Done)

• Собран доменный датасет и сформированы train/val/test выборки.
• Baseline Recall@10 зафиксирован и записан.
• Реализован цикл fine-tuning с TripletLoss.
• Fine-tuned модель сохранена и может быть загружена.
• Recall@10 на тесте улучшился на ≥15% относительно baseline.
• Код выложен в git-репозиторий с инструкцией по запуску.
• Написано краткое описание процесса и выводы.

6. Ожидаемый результат

Основной артефакт Fine-tuned модель эмбеддингов (папка с pytorch_model.bin, config.json, и т.д.) в формате sentence-transformers.

Сопутствующие файлы

• train_triplets.json, val_triplets.json — триплеты.
• test_queries.json — тестовые запросы с ground truth.
• baseline_metrics.json — метрики baseline.
• final_metrics.json — метрики fine-tuned.
• training_log.csv — loss по шагам.
• README.md — описание задачи, подхода и результатов.

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание Время указано с учётом поиска информации и отладки. Для первого выполнения может потребоваться до 12 часов.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я корректно сформировал триплеты (anchor, positive, negative) и убедился, что negative действительно нерелевантен.
• Я замерил baseline Recall@10 на тестовых запросах перед fine-tuning.
• Я реализовал цикл обучения с TripletLoss и отслеживал loss/метрики.
• Я сохранил fine-tuned модель и повторил тест на тех же запросах.
• Я сравнил метрики и зафиксировал улучшение (или документировал причины неудачи).