Что такое «многошаговая когерентность» (coherence illusion) в cascading agent systems?

Краткий тезис

Многошаговая когерентность (coherence illusion) — это феномен, при котором каскад агентов (cascading agent system) генерирует внутренне согласованный, но фактически неверный ответ из-за распространения ошибки с раннего шага. Каждый последующий агент «логично» развивает ошибочную предпосылку, создавая иллюзию правильности. Проблема особенно опасна в RAG|agentic RAG, где ошибка retrieval или планирования может быть замаскирована связным рассуждением.

1. Термины и контекст

Cascading agent system — архитектура, в которой несколько AI-агентов работают последовательно: выход одного агента становится входом для следующего. Примеры: планировщик → исполнитель → верификатор; или агент поиска]] → агент анализа → агент синтеза.

Coherence illusion (иллюзия когерентности) — ситуация, когда цепочка рассуждений выглядит логичной и непротиворечивой, но базируется на неверных фактах или ошибочных выводах на раннем этапе. Термин заимствован из когнитивной психологии, где описывает склонность человека достраивать связную картину из фрагментов, даже если они ложны.

Многошаговая когерентность — русскоязычный аналог, подчёркивающий, что иллюзия возникает именно при многошаговом взаимодействии агентов.

2. Механизм возникновения

Процесс можно разбить на три фазы:

1. Первичная ошибка — на одном из первых шагов (например, агент retrieval выбрал нерелевантный документ, или агент-планировщик неправильно интерпретировал запрос).
2. Каскадное усиление — каждый следующий агент принимает результат предыдущего как истину и строит на нём свои выводы. Ошибка не корректируется, а обрастает новыми «подтверждениями».
3. Внутренняя консистентность — финальный ответ логически связен, все части согласованы друг с другом, но не соответствуют реальности.

Пример из agentic RAG

• Запрос: «Какова численность населения Токио в 2023 году?»
• Агент 1 (retrieval) ошибочно извлекает документ про население Японии (125 млн).
• Агент 2 (анализ) вычисляет: «Токио — столица, примерно 30% населения страны → 37.5 млн».
• Агент 3 (верификация) проверяет: «37.5 млн — разумная цифра для мегаполиса, согласуется с другими источниками (ссылается на тот же неверный документ)».
• Итог: ответ 37.5 млн, внутренне логичен, но неверен (реальное население Токио ~14 млн).

3. Почему это опаснее обычной ошибки?

4. Причины возникновения

• Отсутствие обратной связи между агентами — каждый агент не видит исходные данные, только результат предыдущего.
• Переобучение на согласованность — LLM часто штрафуются за противоречия, поэтому стремятся сделать ответ логичным любой ценой.
• Недостаточная верификация — если нет агента, который сверяет итоговый ответ с внешними источниками (ground truth), иллюзия не разрушается.
• Когнитивное искажение «confirmation bias» — агенты склонны искать подтверждения, а не опровержения.

5. Отличие от chain-of-thought (CoT)

Chain-of-thought — техника, при которой LLM генерирует промежуточные шаги для улучшения точности. Coherence illusion — побочный эффект, когда эти шаги становятся самоподдерживающимися.

6. Как обнаружить coherence illusion?

6.1. Тестирование с известными ответами (gold standard)

Создать набор запросов, где правильный ответ известен, и проверить, не даёт ли система внутренне связный, но неверный ответ.

6.2. Анализ цепочки рассуждений (trace inspection)

Логировать все промежуточные шаги и проверять:

• Есть ли скачок в логике?
• Используются ли факты, не подтверждённые retrieval?

6.3. Метрики faithfulness

Использовать инструменты вроде RAGAS (faithfulness, answer relevancy) или BERTScore для сравнения ответа с исходными документами.

6.4. Агент-скептик

Добавить специального агента, который пытается опровергнуть финальный ответ, ища противоречия с внешними источниками.

7. Методы предотвращения

7.1. Валидация на каждом шаге

Каждый агент должен проверять свои входные данные на непротиворечивость. Например, агент анализа может запросить у retrieval подтверждение факта.

7.2. Backtracking и rollback

Если на позднем шаге обнаружена ошибка, система должна откатиться к предыдущему шагу и перегенерировать. Реализуется через agentic loops с памятью.

7.3. Использование внешних источников истины

На каждом шаге агент может обращаться к базе знаний или API для верификации фактов, а не полагаться только на выводы других агентов.

7.4. Ансамблирование

Запустить несколько независимых каскадов (с разными retrieval-стратегиями или LLM) и сравнить результаты. Если ответы согласованы, но неверны — это признак систематической ошибки.

7.5. Обучение с подкреплением (RLHF)

Тонкая настройка LLM на примерах, где coherence illusion приводит к неверному ответу, с наградой за отказ от ложной связности.

8. Пример кода: детектор coherence illusion

import json
from typing import List, Dict

def detect_coherence_illusion(trace: List[Dict], ground_truth: str) -> bool:
    """
    Проверяет, есть ли признаки coherence illusion в логе агентов.
    trace: список шагов {agent, input, output, confidence}
    ground_truth: правильный ответ
    """
    # 1. Проверяем, что финальный ответ не совпадает с ground truth
    final_output = trace[-1]["output"]
    if final_output == ground_truth:
        return False  # ответ верен — нет иллюзии

    # 2. Проверяем внутреннюю согласованность: каждый шаг логически вытекает из предыдущего
    for i in range(1, len(trace)):
        prev_out = trace[i-1]["output"]
        curr_in = trace[i]["input"]
        # Упрощённая проверка: вход следующего агента должен содержать выход предыдущего
        if prev_out not in curr_in:
            return False  # разрыв в цепочке — не coherence illusion

    # 3. Проверяем уверенность: если все агенты уверены, а ответ неверен — подозрение
    all_confident = all(step["confidence"] > 0.8 for step in trace)
    if all_confident and final_output != ground_truth:
        return True  # обнаружена coherence illusion

    return False

# Пример использования
trace = [
    {"agent": "retriever", "input": "Население Токио 2023", "output": "Население Японии 125 млн", "confidence": 0.95},
    {"agent": "analyzer", "input": "Население Японии 125 млн", "output": "Токио ~30% → 37.5 млн", "confidence": 0.90},
    {"agent": "verifier", "input": "37.5 млн", "output": "Согласуется с источниками", "confidence": 0.85}
]
print(detect_coherence_illusion(trace, "14 млн"))  # True

9. Связь с другими концепциями

• Agentic loops — циклы, в которых агент может повторять шаги; без контроля они усиливают coherence illusion.
• Self-consistency — техника, при которой генерируется несколько цепочек и выбирается наиболее частая; может как выявить, так и замаскировать иллюзию.
• Faithfulness — метрика, оценивающая, насколько ответ соответствует предоставленным документам; низкая faithfulness — признак возможной иллюзии.
• Tool use — если агенты используют внешние инструменты (калькулятор, API), ошибка может быть локализована, но при каскаде всё равно распространится.

Пет-проект для закрепления

Задача Разработать систему, которая детектирует coherence illusion в двухшаговом каскаде (retrieval → генерация).

Инструменты

• Python, LangChain или простой API вызовов LLM (OpenAI, YandexGPT)
• Векторная БД (FAISS, Chroma) с тестовым корпусом документов
• Датасет с известными ответами (например, 20 вопросов по истории/географии)

Шаги:

1. Создать корпус документов, часть из которых содержит правдоподобные, но неверные факты (например, «Токио — столица Японии с населением 37 млн»).
2. Реализовать каскад: агент retrieval (поиск по эмбеддингам) → агент генерации (LLM с prompt «ответь на основе найденных документов»).
3. Для каждого вопроса из датасета запустить каскад и сохранить trace (вход/выход каждого агента).
4. Написать детектор, который сравнивает финальный ответ с ground truth и проверяет, был ли хотя бы один шаг с неверным, но уверенным выводом.
5. Визуализировать случаи coherence illusion: показать цепочку и подчеркнуть, где возникла первичная ошибка.

Ожидаемый результат Вы получите инструмент, который автоматически находит примеры, когда система выдает связный, но неверный ответ. Это поможет понять, как архитектура каскада усиливает ошибки.

Связь с другими вопросами

Навигация

• Предыдущий: 173
• Следующий: 175
• Индекс: 00. Индекс разборов