Как делать pairwise ranking для сравнения моделей?

Краткий тезис

Pairwise ranking (попарное ранжирование) — это метод оценки качества моделей, где вместо абсолютной шкалы (например, 1–5) рецензенту предъявляют два ответа от разных моделей и просят выбрать лучший. Такой подход снижает субъективные смещения (bias) и вариативность между оценщиками (inter‑user variability). Для агрегации множества парных сравнений чаще всего используют Elo rating (систему рейтинга из шахмат). Инструменты вроде AlpacaEval и LMSys Chatbot Arena автоматизируют сбор и обработку pairwise‑данных, давая стабильные рейтинги LLM.

1. Термин: Pairwise Ranking (попарное ранжирование)

Pairwise ranking — это метод, при котором для каждой пары элементов (в нашем случае — ответов двух моделей на один и тот же запрос) определяется, какой из них лучше. Результат фиксируется как победа одной модели над другой (или ничья). В отличие от шкал Лайкерта (1–5), здесь нет абстрактных баллов — только относительное предпочтение.

Зачем это нужно

• Прямое сравнение двух вариантов естественнее для человека, чем выставление оценки по шкале (люди хорошо различают «лучше/хуже/равно», но плохо калибруют баллы).
• Уменьшается bias (смещение) — рецензент не склонен ставить всем высокие или низкие оценки.
• Устраняется inter‑user variability (разнобой между оценщиками): один эксперт может считать 4 из 5 «хорошо», другой — «отлично»; в pairwise этого нет.

2. Проблема абсолютных шкал (pointwise evaluation)

Традиционный подход pointwise evaluation — каждый ответ оценивается по фиксированной шкале (например, 1–5 по качеству, фактологической точности и т.д.). Недостатки:

Pairwise ranking решает эти проблемы ценой большего числа сравнений.

3. Процесс проведения pairwise ranking

3.1 Сбор данных

• Берём набор тестовых промптов (запросов) — например, 1000 разнообразных вопросов.
• Для каждого промпта генерируем ответы от N моделей.
• Формируем пары: если N моделей, возможных пар ( \binom{N}{2} = N(N-1)/2 ). Для каждой пары нужен хотя бы один промпт.

3.2 Формат голосования

Есть два основных варианта:

1. Side‑by‑side (SxS) — аннотатору показывают два ответа (A и B) и вопрос, он выбирает лучший (или «ничья»).
2. Rank‑based — аннотатор сортирует все K ответов на один промпт, что даёт все парные сравнения сразу.

Второй вариант эффективнее, но для K > 4–5 становится когнитивно сложным. На практике чаще используют SxS.

3.3 Агрегация парных сравнений

После сбора всех пар нужно построить глобальный рейтинг. Самый популярный метод — Elo rating.

4. Elo rating: подробно

Elo rating — система рейтинга, изначально созданная для шахмат. Каждая модель имеет рейтинг R (целое число, обычно 1000–2000). После каждого парного сравнения рейтинги обновляются.

4.1 Ожидаемый результат

Вероятность того, что модель A выиграет у модели B, рассчитывается как: [ E_A = \frac{1}{1 + 10^{(R_B - R_A)/400}} ] где 400 — масштабный коэффициент (чем он больше, тем меньше влияние одной игры).

4.2 Обновление рейтинга

После реального исхода S (победа = 1, ничья = 0.5, поражение = 0) рейтинг обновляется: [ R_A' = R_A + K \cdot (S - E_A) ] [ R_B' = R_B + K \cdot (E_A - S) = R_B + K \cdot ((1 - S) - (1 - E_A)) ] K — K‑factor (коэффициент), регулирующий скорость адаптации. Обычно K = 32 для новых моделей, 16 для стабильных.

4.3 Пример обновления в Python

def expected_score(rating_a, rating_b):
    return 1 / (1 + 10 ** ((rating_b - rating_a) / 400))

def update_elo(r_a, r_b, score_a, k=32):
    e_a = expected_score(r_a, r_b)
    new_r_a = r_a + k * (score_a - e_a)
    new_r_b = r_b + k * ((1 - score_a) - (1 - e_a))  # score_b = 1 - score_a
    return new_r_a, new_r_b

# Пример: модель A (1500) против B (1400), A победила
print(update_elo(1500, 1400, 1.0))  # (1512.0, 1388.0)

4.4 Начальные значения

Все модели стартуют с одинаковым рейтингом (например, 1000 или 1200). После достаточного количества сравнений рейтинги сходятся к истинному порядку.

5. Плюсы и минусы pairwise ranking

6. Инструменты для pairwise ranking

6.1 LMSys Chatbot Arena

• Платформа, где пользователи анонимно сравнивают ответы двух случайных LLM.
• Данные агрегируются в Elo‑рейтинг, публикуются ежемесячно.
• Использует модифицированный Elo с учётом tie‑сценариев и корректировкой на базу промптов.

6.2 AlpacaEval

• Автоматизированный бенчмарк: для набора из 805 промптов сравнивает ответ модели с ответом GPT‑4 (или другой reference).
• Использует pairwise preference — LLM‑judge (например, GPT‑4) решает, какой ответ лучше, и на основе этого строится рейтинг rate|win rate.
• Win rate — доля побед над reference; это не Elo, но тоже pairwise.

6.3 Другие

• Chatbot Arena Leaderboard (от LMSys) — открытый рейтинг на основе Elo.
• MT‑Bench — использует pairwise grading с LLM‑judge по нескольким измерениям (helpfulness, harmlessness и т.д.).
• Open LLM Leaderboard (Hugging Face) — раньше был pointwise, сейчас переходят к pairwise.

7. Bootstrap confidence intervals для Elo рейтинга

Чтобы оценить, насколько значима разница между моделями, используют bootstrap. Процедура:

1. Имеем набор парных сравнений (каждое — с результатом: A > B, B > A, ничья).
2. Многократно (например, 1000 раз) сэмплируем с повторением исходный набор сравнений.
3. Для каждой bootstrap‑выборки заново вычисляем Elo‑рейтинг.
4. Получаем распределение рейтингов для каждой модели.
5. Строим 95% доверительный интервал (например, 2.5 и 97.5 перцентили).

import numpy as np

def bootstrap_elo(comparisons, n_bootstrap=1000, init_rating=1000):
    models = set()
    for a, b, outcome in comparisons:
        models.add(a); models.add(b)
    models = list(models)
    ratings = np.zeros((n_bootstrap, len(models)))
    
    for i in range(n_bootstrap):
        sample = [comparisons[j] for j in np.random.randint(0, len(comparisons), size=len(comparisons))]
        elo = {m: init_rating for m in models}
        for a, b, outcome in sample:
            e_a = expected_score(elo[a], elo[b])
            score_a = 1.0 if outcome == 'A' else (0.5 if outcome == 'tie' else 0.0)
            elo[a], elo[b] = update_elo(elo[a], elo[b], score_a)
        ratings[i] = [elo[m] for m in models]
    # 95% CI
    lower = np.percentile(ratings, 2.5, axis=0)
    upper = np.percentile(ratings, 97.5, axis=0)
    return list(zip(models, lower, upper))

8. Применение pairwise ranking в Agentic RAG

В Agentic RAG (где агент активно запрашивает документы, переформулирует запросы и т.д.) pairwise ranking может использоваться для:

• Оценки цепочек агентов: сравнить конфигурации A и B на одних и тех же запросах (какой агент дал более полный ответ).
• Выбора ранжировщика (reranker): pairwise сравнение разных ранжировщиков по качеству упорядочивания документов.
• Отбора лучших генераций: внутри агента можно применять pairwise ranking между несколькими черновиками ответа, чтобы выбрать лучший (self‑critique через pairwise).

9. Альтернативные методы оценки: pointwise vs listwise

Когда что использовать

• Pointwise: когда нужна абсолютная оценка (например, безопасность: «токсично/нет»).
• Pairwise: когда цель — получить стабильный рейтинг моделей.
• Listwise: когда нужно полное упорядочение (например, для ранжирования документов).

Пет-проект для закрепления

Задача: реализовать симулятор Elo‑рейтинга для трёх виртуальных LLM с разным качеством.

Инструменты: Python (numpy, pandas, matplotlib).

Шаги:

1. Создайте 3 «модели» с заданным истинным качеством (например, M1: 0.9, M2: 0.7, M3: 0.5 — вероятность дать лучший ответ при случайном сравнении).
2. Сгенерируйте 1000 промптов. Для каждого промпта создайте все пары моделей (3 пары). Для каждой пары определите победителя на основе вероятностного правила (используя истинное качество и шум).
3. Инициализируйте Elo‑рейтинг (начало: 1000 для всех). Обработайте все пары последовательно (или в случайном порядке). Обновите рейтинги.
4. Постройте график изменения рейтингов по мере обработки сравнений.
5. Выполните bootstrap и постройте доверительные интервалы для финальных рейтингов.

Ожидаемый результат:

• Рейтинги сходятся к порядку: M1 > M2 > M3.
• Доверительные интервалы не перекрываются (при достаточном количестве сравнений).
• График показывает сходимость.

Связь с другими вопросами

Эти вопросы покрывают смежные темы: метрики качества, оценку компонентов RAG и методы улучшения агентных систем.

Навигация

• Предыдущий: 870
• Следующий: 872
• Индекс: 00. Индекс разборов