Как вы измеряете объяснимость (explainability) агентских решений?

Краткий тезис

Объяснимость агентских решений — это способность системы предоставить понятное человеку обоснование своих действий и выводов. Измерение объяснимости в Agentic RAG выходит за рамки пост-хок атрибуции: оно включает оценку устойчивости объяснений к возмущениям (perturbation-consistency), плотность причинно-следственных связей в цепочке рассуждений (causal density) и штраф за неопределённые формулировки (hedge word penalty). Комбинация этих метрик позволяет количественно оценить, насколько прозрачно и надёжно агент принимает решения.

1. Термин: Explainability (объяснимость) в контексте AI-агентов

Explainability — это свойство системы, при котором её внутренние механизмы и выходные решения могут быть интерпретированы человеком. В отличие от традиционного ML (где объясняют предсказание модели), в агентских системах объяснение включает:

• Цепочку рассуждений (reasoning chain): какие шаги предпринял агент, почему выбрал именно такой инструмент или источник.
• Атрибуцию к контексту: какие части retrieved-документов повлияли на решение.
• Уверенность: насколько агент уверен в своём ответе, есть ли признаки неуверенности (hedge words).

Термин «пост-хок объяснение» (post-hoc explanation) — объяснение, созданное после получения ответа, например, с помощью SHAP или LIME. Для агентов важны и интринсик-объяснения (intrinsic explanations), встроенные в архитектуру (например, chain-of-thought).

2. Зачем измерять объяснимость агентских решений?

3. Подходы к измерению объяснимости: обзор

Метрики объяснимости делятся на локальные (объяснение одного решения) и глобальные (объяснение поведения агента в целом). Также различают:

• Faithfulness (верность): насколько объяснение соответствует реальному поведению модели.
• Completeness (полнота): все ли важные факторы учтены в объяснении.
• Minimality (минимальность): объяснение не содержит лишних деталей.
• Stability (устойчивость): малые изменения входа не приводят к кардинально другим объяснениям.

Для агентов ключевыми становятся stability и faithfulness, так как цепочка рассуждений может быть длинной и ветвящейся.

4. Perturbation-consistency: основная идея

Perturbation-consistency (устойчивость к возмущениям) — метрика, оценивающая, насколько объяснение меняется при небольших изменениях входных данных. Если слегка перефразировать запрос пользователя, должно ли объяснение (например, атрибуция к документам) остаться схожим?

Формула (упрощённо):

Perturbation-Consistency = 1 - (среднее расстояние между объяснениями для исходного и возмущённого запроса)

Где расстояние — косинусное расстояние между векторами атрибуции (importance scores) или edit distance между текстовыми объяснениями.

Пример: Агент отвечает на вопрос «Какая столица Франции?» с объяснением «Из документа A, строка 5». После перефразирования «Назови столицу Франции» объяснение должно указать тот же документ и строку. Если объяснение изменилось на «Документ B, строка 12» — consistency низкая.

5. Attribution-perturbation consistency score

Attribution-perturbation consistency score — количественная метрика, основанная на устойчивости атрибуций, полученных методами SHAP (SHapley Additive exPlanations) или LIME (Local Interpretable Model-agnostic Explanations).

Как измерять:

1. Для исходного запроса q получаем ответ агента a и атрибуцию attr(q) — вектор важности каждого входного токена/чанка.
2. Создаём набор возмущённых запросов {q'} (синонимичные замены, удаление стоп-слов, перестановка).
3. Для каждого q' получаем атрибуцию attr(q').
4. Считаем среднее косинусное сходство между attr(q) и attr(q').

Интерпретация:

• Score > 0.8 — высокая устойчивость, объяснения надёжны.
• Score < 0.5 — объяснения нестабильны, агенту нельзя доверять.

Ограничение: Метод требует много вызовов агента (для каждого возмущения), что дорого.

6. Causal density: плотность причинно-следственных связей

Causal density (причинная плотность) — метрика, оценивающая, насколько каждый шаг в reasoning chain агента обоснован предыдущими шагами и внешними данными. Высокая causal density означает, что агент строит логическую цепочку без пропусков.

Как измерить:

1. Извлечь цепочку рассуждений агента (например, из логов или через chain-of-thought).
2. Разбить на шаги: s1, s2, ..., sn.
3. Для каждого шага si определить, какие предыдущие шаги и retrieved-документы на него влияют (построить граф зависимостей).
4. Causal density = (количество рёбер в графе) / (количество шагов).

Пример:

• Агент: «Запрос: какая погода в Москве? → Шаг 1: вызываю API погоды → Шаг 2: получаю ответ 5°C → Шаг 3: отвечаю пользователю». Граф: s1→s2, s2→s3. Рёбер 2, шагов 3 → density = 0.67.
• Если агент просто отвечает без вызова API: шаг 1 → ответ, рёбер 0, density = 0 (плохо).

Норма: Для хорошо обоснованного ответа density > 0.5.

7. Hedge word penalty: штраф за слова-увиливания

Hedge word penalty — метрика, штрафующая агента за использование слов, выражающих неуверенность: «возможно», «вероятно», «может быть», «кажется», «предположительно». Высокий штраф указывает на то, что агент не уверен в своём ответе, что снижает объяснимость (пользователь не понимает, насколько можно доверять).

Как измерить:

1. Составить словарь hedge words (50–100 слов, включая фразы «я думаю», «насколько я знаю»).
2. Для каждого ответа агента подсчитать количество вхождений hedge words.
3. Hedge penalty = (количество hedge words) / (общее количество слов в ответе).
4. Можно нормировать: penalty ∈ [0, 1], где 1 — ответ полностью состоит из hedge words.

Пример:

• Ответ: «Возможно, столица Франции — Париж, но я не уверен». Hedge words: «возможно», «но я не уверен» → 2 слова из 9 → penalty ≈ 0.22.
• Ответ: «Столица Франции — Париж». Hedge words: 0 → penalty = 0.

Интерпретация: Для продакшн-агентов желателельный penalty < 0.05. Если penalty высокий, агент либо плохо обучен, либо retrieval дал противоречивые данные.

8. Дополнительные метрики: faithfulness, completeness, minimality

Для агентов часто используют faithfulness через counterfactual test: заменить retrieved-документ на другой — должен ли измениться ответ? Если объяснение утверждает, что документ важен, а его замена не меняет ответ — faithfulness низкая.

9. Инструменты и библиотеки для измерения объяснимости

Рекомендация: Использовать комбинацию — SHAP для атрибуции на уровне токенов, LangChain для трассировки шагов, и кастомный скрипт для подсчёта hedge penalty и causal density.

10. Практические рекомендации: как внедрить мониторинг объяснимости в продакшн

1. Сбор данных: Логировать каждый запрос, ответ, цепочку рассуждений, retrieved-документы, время выполнения.
2. Периодический оффлайн-анализ: Раз в день/неделю запускать пайплайн метрик на выборке запросов (100–1000).
3. Пороговые значения:
   • Perturbation-consistency > 0.7
   • Causal density > 0.5
   • Hedge penalty < 0.05
   • Faithfulness > 0.8 (по counterfactual test)
4. Alerting: Если метрики падают ниже порога — уведомление команде.
5. A/B тестирование: При изменении архитектуры агента (новый промпт, другой retriever) сравнивать метрики объяснимости.

11. Ограничения и вызовы

• Компромисс точность–объяснимость: Агент, который даёт очень точные ответы, может иметь низкую объяснимость (например, чёрный ящик). Нужно искать баланс.
• Человеческая оценка: Автоматические метрики не заменяют оценку экспертом. Рекомендуется проводить human evaluation на малой выборке.
• Затраты: Вычисление perturbation-consistency требует множества вызовов LLM, что дорого. Можно использовать суррогатные модели.
• Динамические контексты: Агент может менять поведение в зависимости от истории диалога — метрики нужно считать на уровне сессии.

Пет-проект для закрепления

Задача: Разработать агента для ответа на вопросы по технической документации (например, по библиотеке LangChain) и добавить модуль оценки объяснимости.

Инструменты: Python, LangChain, OpenAI API, SHAP, библиотека для подсчёта hedge words (например, nltk с кастомным словарём).

Шаги:

1. Создать агента с retrieval (векторная БД Chroma) и chain-of-thought.
2. Реализовать логирование: записывать запрос, ответ, reasoning chain, retrieved-чанки.
3. Написать функции:
   • perturbation_consistency(query, n_perturbations=5) — генерирует синонимичные запросы, получает атрибуцию через SHAP, считает среднее косинусное сходство.
   • causal_density(log) — парсит reasoning chain, строит граф зависимостей, считает density.
   • hedge_penalty(answer) — токенизирует ответ, считает долю hedge words.
4. Собрать датасет из 50 вопросов, прогнать агента, вычислить метрики.
5. Визуализировать результаты: гистограммы распределения метрик, выбросы.

Ожидаемый результат: Дашборд (например, в Streamlit), показывающий для каждого запроса метрики объяснимости, и общую статистику по агенту. Вы сможете увидеть, при каких запросах агент неуверен (высокий hedge penalty) или нестабилен (низкая consistency).

Связь с другими вопросами

Навигация

• Предыдущий: 168
• Следующий: 170
• Индекс: 00. Индекс разборов