ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить click models для implicit feedback

1. Цель задачи

Научиться извлекать сигнал релевантности из журнала кликов пользователей (implicit feedback) и применять его для улучшения ранжирования поисковых результатов. Вы реализуете одну из классических click models (например, Position-Based Model или User Browsing Model), обучите её на логах, оцените качество по метрикам perplexity/log-likelihood и проверите, как использование предсказанной релевантности влияет на метрики ранжирования (NDCG@k, MAP) на offline-тесте.

Ключевой результат Работающий пайплайн обучения click model и её интеграция в ранжирование, обеспечивающий устойчивый прирост NDCG@10 не менее 5% относительно baseline (без click model).

2. Исходные данные

Если нет реального лога — симулируем:

1. Взять коллекцию отзывов (Amazon reviews, MS MARCO passage) — 1000+ документов.
2. Сгенерировать 20–30 запросов (ключевые слова из названий/текстов).
3. Для каждого запроса получить top-10 документов по BM25 (использовать Whoosh или Elasticsearch).
4. Создать искусственные клики: для каждого документа с известной релевантностью (например, 1–5) назначить вероятность клика по формуле: P(click) = examination_prob(rank) * relevance_prob. Параметры: examination_prob убывает с рангом (0.6, 0.3, 0.15…), relevance_prob — пропорционально метке (если метка 5 → 0.9, 4 → 0.7, …). Затем семплировать клик (0/1) из этой вероятности.
5. Сохранить в CSV.

3. Технологический стек

4. Этапы выполнения

Этап 1: Подготовка данных и EDA (оценка времени 1 час)

Действия

1. Загрузить лог кликов (файл clicks.csv) в DataFrame с колонками: ['query_id', 'doc_id', 'rank', 'click', 'session_id', 'timestamp'].

2. Проверить структуру: количество уникальных запросов, документов, сессий; число кликов (общее и по позициям).

3. Построить распределение кликов по рангу — гистограмму click_rate vs rank. Это даст визуальную оценку position bias.

   click_rate_by_rank = df.groupby('rank')['click'].mean()
   

4. Разделить данные на обучающую (80%) и валидационную (20%) выборки по сессиям (или времени). Сохранить разделение.

   Ожидаемый результат этапа очищенный DataFrame, статистика по кликам, график click_rate(rank), файлы train_clicks.csv / val_clicks.csv.

Этап 2: Реализация click model (2 часа)

Действия

1. Выбрать первую модель — Position-Based Model (PBM):

   • Каждый документ имеет релевантность r (скрытый параметр).
   • Вероятность клика: P(click=1 | r, pos) = r * exam(pos).
   • Параметры модели: r_j для каждого уникального (query_id, doc_id), exam(1..K).

2. Реализовать Expectation-Maximization (EM) алгоритм для PBM:

   • Инициализировать exam(pos) = (K+1-pos)/K, r(q,d)=0.5.
   • E-шаг: для каждого события (q,d,pos,click) вычислить апостериорную вероятность, что документ был релевантен:

     p_rel = click * exam[pos] * r / (click * exam[pos] * r + (1-click)*(1 - exam[pos]*r))  # упрощённо
     

   • M-шаг: обновить exam(pos) = sum(click * ...)/sum(...), r(q,d) = avg(p_rel).
   • Повторять до сходимости (≤10 итераций или изменение log-likelihood < 1e-4).

3. Реализовать вычисление log-likelihood на валидационной выборке как метрику качества модели.

4. Опционально Реализовать более продвинутую модель — User Browsing Model (UBM), где examination зависит от предыдущей позиции.

   Ожидаемый результат этапа класс ClickModelPBM с методами fit(train_df, K), predict_proba(q, d, pos), score(val_df). Выведенные значения exam и средние r.

Этап 3: Оценка и валидация click model (1 час)

Действия

1. Вычислить perplexity (или negative log-likelihood) на валидационной выборке:

   nll = -sum(log(P(click | q, d, pos))) / N
   perplexity = exp(nll)
   

2. Сравнить с baseline — простой моделью, где P(click) = click_rate[rank] (только position bias, без релевантности). Если ваша модель не превосходит baseline, возможно, данных мало или EM не сошёлся.

3. Визуализировать оценённые exam(rank) и сравнить с эмпирическим click_rate(rank).

4. Провести кросс-валидацию (k=3) на сессиях для получения стабильных метрик.

   Ожидаемый результат этапа таблица с NLL и perplexity по моделям, график exam(rank), вывод о качестве click model.

Этап 4: Интеграция click model в ранжирование (1.5 часа)

Действия

1. Извлечь оценку релевантности r(q,d) для пар запрос-документ, которые встречались в обучающих данных. Для невидимых пар — использовать fallback (например, 0.1).

2. Сформировать новый скор для ранжирования: score_new = alpha * baseline_score + (1-alpha) * r(q,d), где alpha — параметр смешивания (подобрать по валидации).

3. Переранжировать документы для каждого запроса из тестового набора (отдельный, не участвовавший в обучении click model).

4. Вычислить метрики ранжирования (NDCG@5, NDCG@10, MAP) для двух вариантов:

   • Baseline (только baseline_score)
   • Click-enhanced (score_new с оптимальным alpha)

   Ожидаемый результат этапа таблица сравнения метрик, выбор лучшего alpha, анализ — на скольких запросах улучшение.

Этап 5: Фиксация результатов и выводы (30 минут)

Действия

1. Записать все полученные метрики в итоговый отчёт (можно в Jupyter Notebook или отдельный Markdown).

2. Сформулировать выводы: насколько click model помогла, какие были ограничения (мало данных, шум, не все пары покрыты).

3. Сохранить обученную модель (параметры exam и r в JSON или pickle).

   Ожидаемый результат этапа Итоговый документ с метриками, графиками и выводами.

5. Критерии приемки (Definition of Done)

• Создан синтетический или загружен реальный лог кликов в формате CSV с корректными полями.
• Реализована Position-Based Model с EM-обучением (методы fit, predict_proba, score).
• Вычислена perplexity на валидационной выборке и проведено сравнение с baseline (модель только с position bias).
• Оценённая exam(rank) визуально соответствует empirical click rate (убывающая).
• Click model интегрирована в ранжирование: новый скор = alpha * baseline + (1-alpha)*r, alpha подобран.
• Метрики NDCG@10 и MAP улучшились минимум на 5% относительно baseline (на тестовом наборе запросов).
• Написаны выводы (2-3 абзаца) с объяснением, почему улучшение произошло или не произошло.
• Код оформлен в виде Jupyter Notebook или набора Python-скриптов с комментариями.
• Все артефакты (параметры модели, итоговая таблица) сохранены в репозитории.

6. Ожидаемый результат

Основной артефакт notebooks/click_model_pipeline.ipynb или папка click_model/ со скриптами:

• data/generate_clicks.py (если данные синтетические) или data/load_real_data.py
• models/click_model_pbm.py — реализация PBM
• models/evaluation.py — расчёт метрик
• results/ — параметры модели, отчёт report.md

Содержание отчёта (report.md):

• Описание датасета (количество запросов, кликов, документов).
• Таблица сравнения perplexity (baseline vs PBM).
• График empirical vs learned examination probability.
• Таблица NDCG@10, MAP для baseline и click-enhanced.
• Анализ: для каких запросов улучшение наибольшее.

Дополнительные результаты (опционально): Реализация UBM, эксперимент с разными alpha, heatmap кликов по рангам и релевантности.

7. Возможные сложности и их решение

8. Бюджет времени (оценка)

Примечание Для первого раза рекомендуется заложить +2 часа на отладку и чтение теории. Если используются реальные данные (например, Yandex), время на EDA может увеличиться.

9. Связанные вопросы из базы знаний

10. Чек-лист самопроверки

• Я загрузил/сгенерировал лог кликов и убедился, что он содержит все необходимые поля: query_id, doc_id, rank, click, session_id.
• Я реализовал EM-алгоритм для PBM и проверил, что log-likelihood возрастает на каждой итерации.
• Я вычислил perplexity на validation и сравнил с naive baseline (position-only).
• Я визуализировал learned examination probability и убедился, что она убывает с рангом.
• Я подобрал оптимальный alpha на validation и зафиксировал метрики NDCG@10, MAP для baseline и enhanced.
• Я зафиксировал улучшение ≥ 5% хотя бы на одной метрике (или объяснил, почему оно не достигнуто).
• Я сохранил все результаты (параметры модели, отчёт, графики) в репозиторий.
• Код читаемый, содержит комментарии к ключевым шагам.
• Я написал выводы: что получилось, с какими сложностями столкнулся, что можно улучшить.