Как вы измеряете uncertainty в ответах LLM (logit-based vs ensemble methods)?

Краткий тезис

Измерение uncertainty (неопределённости) в ответах LLM критически важно для оценки надёжности модели, особенно в RAG-системах и агентных сценариях. Существуют два основных подхода: logit-based (анализ вероятностей токенов на выходе модели) и ensemble (агрегация множественных выборок). Logit-based методы]] быстрые, но могут быть плохо откалиброваны; ensemble методы]] точнее, но требуют больше вычислительных ресурсов. Выбор зависит от сценария: для real-time систем предпочтительны logit-based, для задач с высокой ценой ошибки — ensemble.

1. Термин: Uncertainty в LLM

Uncertainty (неопределённость) — мера того, насколько модель «сомневается» в своём ответе. В LLM различают два типа:

• Aleatoric uncertainty (случайная) — неустранимая неопределённость, связанная с шумом в данных или неоднозначностью запроса (например, вопрос «Какой цвет лучше?» не имеет единственного ответа).
• Epistemic uncertainty (познавательная) — неопределённость из-за недостатка знаний модели (например, вопрос о редком факте, которого не было в обучении).

Измерение uncertainty позволяет:

• Отфильтровывать ненадёжные ответы в RAG-пайплайне.
• Принимать решение о запросе уточнения у пользователя.
• Калибровать confidence scores для downstream задач.

2. Logit-based методы

Эти методы используют logits (сырые выходы последнего слоя модели до softmax) или probabilities (после softmax) для оценки неопределённости. Они работают на одном проходе модели (single forward pass).

2.1 Max probability (максимальная вероятность)

Берётся вероятность самого вероятного токена на каждом шаге генерации. Чем ниже средняя max probability по всем токенам ответа, тем выше неопределённость.

Формула для одного токена

confidence = max(softmax(logits))

Пример: Если модель генерирует ответ «Париж» с вероятностью 0.95 — uncertainty низкая. Если вероятности распределены равномерно (0.3, 0.3, 0.4) — высокая.

Плюсы Простота, скорость.
Минусы Не учитывает распределение по всем токенам, может быть переоценена из-за плохой калибровки.

2.2 Entropy (энтропия)

Энтропия Шеннона измеряет «размазанность» распределения вероятностей токенов. Высокая энтропия → высокая неопределённость.

Формула для одного токена

H = - Σ p_i * log(p_i)

где p_i — вероятность i-го токена.

Пример: Для бинарного выбора (токен A с p=0.9, B с p=0.1) энтропия ≈ 0.33. Для равномерного (p=0.5, 0.5) энтропия = 0.69.

Агрегация по последовательности Можно усреднить энтропию по всем токенам ответа или взять максимум.

Плюсы Учитывает весь спектр вероятностей.
Минусы Чувствительна к длине ответа (длинные ответы могут иметь большую суммарную энтропию).

2.3 Semantic entropy (семантическая энтропия)

Улучшение энтропии: вместо токенов группируются семантически эквивалентные ответы (через эмбеддинги или LLM-анализ). Затем считается энтропия по группам.

Алгоритм

1. Сгенерировать несколько ответов (например, 5-10) с разными seed-ами или temperature.
2. Кластеризовать ответы по смыслу (например, через косинусную близость эмбеддингов).
3. Посчитать энтропию распределения ответов по кластерам.

Пример: Если все 10 ответов говорят «Столица Франции — Париж» — uncertainty низкая. Если 5 говорят «Париж», 3 — «Лион», 2 — «Марсель» — высокая.

Плюсы Учитывает семантику, а не поверхностные токены.
Минусы Требует множественных выборок (уже не pure logit-based, а гибрид).

3. Ensemble методы

Ensemble методы основаны на множественных выборках (multiple sampling) из модели или на использовании нескольких моделей. Они оценивают uncertainty через разброс ответов.

3.1 Multiple sampling с разными seed/temperature

Генерируется N ответов (например, N=10) с разными случайными seed-ами или temperature > 0. Затем вычисляется согласие (agreement) между ответами.

Метрики согласия

• ROUGE-L или BLEU между парами ответов — высокое среднее значение указывает на низкую uncertainty.
• Косинусное сходство эмбеддингов ответов.
• LLM-as-a-judge — попросить LLM оценить, насколько ответы семантически эквивалентны.

Пример кода (Python, упрощённо):

import numpy as np
from sentence_transformers import SentenceTransformer

model = SentenceTransformer('all-MiniLM-L6-v2')
answers = ["Париж", "Париж", "Лион", "Париж", "Марсель"]
embeddings = model.encode(answers)
similarities = np.corrcoef(embeddings)  # матрица попарных сходств
mean_sim = np.mean(similarities[np.triu_indices_from(similarities, k=1)])
uncertainty = 1 - mean_sim  # чем выше, тем больше неопределённость

3.2 Monte Carlo Dropout

Во время инференса включается dropout (обычно отключён). Делается N проходов с разными dropout-масками. Разброс предсказаний даёт оценку epistemic uncertainty.

Плюсы Не требует множества моделей.
Минусы Замедляет инференс в N раз; работает только для моделей с dropout.

3.3 Deep Ensembles

Обучается несколько независимых моделей (с разными инициализациями). На инференсе усредняются их предсказания, а разброс используется как uncertainty.

Плюсы Надёжная оценка epistemic uncertainty.
Минусы Огромные вычислительные затраты (обучение и хранение нескольких моделей).

4. Сравнение logit-based vs ensemble

Когда что использовать

• Logit-based: чат-боты, где важна скорость; первичная фильтрация.
• Ensemble: медицинские/юридические RAG-системы; оценка качества датасета; fine-tuning с active learning.

5. Калибровка uncertainty

Измеренная uncertainty не всегда соответствует истинной вероятности ошибки. Калибровка (calibration) — процесс приведения confidence scores в соответствие с accuracy.

Expected Calibration Error (ECE):

1. Разбить предсказания на бины по confidence (например, 0-0.1, 0.1-0.2, ...).
2. Для каждого бина посчитать accuracy.
3. ECE = средневзвешенное отклонение confidence от accuracy.

Пример: Если модель говорит «я уверен на 90%», а ошибается в 20% случаев — калибровка плохая.

Методы калибровки

• Temperature scaling — подбор температуры softmax на валидационном датасете.
• Platt scaling — логистическая регрессия поверх logits.

6. Практические инструменты

• OpenAI API: параметр logprobs возвращает log-вероятности токенов. Можно вычислить max probability или entropy.
• LangChain: LLMChain с verbose=True показывает logits; есть встроенные callback для uncertainty.
• Hugging Face Transformers: model.generate(..., output_scores=True) возвращает scores для каждого токена.
• Semantic Entropy реализована в библиотеке semantic-entropy (автор: Lorenz Kuhn).

Пример получения logprobs из OpenAI (Python):

import openai

response = openai.ChatCompletion.create(
    model="gpt-4",
    messages=[{"role": "user", "content": "Столица Франции?"}],
    logprobs=True,
    top_logprobs=5
)
# Анализ logprobs первого токена
logprobs = response['choices'][0]['logprobs']['content'][0]['top_logprobs']
probs = [np.exp(lp) for lp in logprobs.values()]
entropy = -sum(p * np.log(p) for p in probs)

7. Ограничения и подводные камни

• Logit-based методы не работают для моделей без доступа к logits (например, API без logprobs).
• Ensemble методы чувствительны к temperature: при temperature=0 все выборки одинаковы — uncertainty искусственно низкая.
• Семантическая энтропия требует хорошего эмбеддера или LLM для кластеризации, что добавляет latency.
• Uncertainty ≠ ошибка: модель может быть уверена, но неверна (например, из-за contamination данных).

Пет-проект для закрепления

Задача Разработать систему оценки uncertainty для RAG-пайплайна, которая отфильтровывает ответы с высокой неопределённостью.

Инструменты Python, Hugging Face Transformers, Sentence-Transformers, OpenAI API (опционально), библиотека semantic-entropy.

Шаги:

1. Создать простой RAG на базе Wikipedia (использовать wikipedia-api для получения чанков).
2. Реализовать три метода uncertainty:
   • Max probability (через output_scores).
   • Entropy (по токенам).
   • Semantic entropy (генерировать 5 ответов, кластеризовать эмбеддинги).
3. Сравнить методы на 100 вопросах с известными «трудными» случаями (неоднозначные, редкие факты).
4. Построить график зависимости accuracy от порога uncertainty.
5. Добавить калибровку через temperature scaling на валидационном датасете.

Ожидаемый результат Jupyter notebook с визуализациями, показывающий, что semantic entropy лучше всего коррелирует с ошибками, а max probability — самый быстрый, но менее точный.

Связь с другими вопросами

Навигация

• Предыдущий: 290
• Следующий: 292
• Индекс: 00. Индекс разборов