Поиск

• wikiStandardScaler

  …Применяется для приведения данных к единому масштабу, улучшая интерпретируемость и сходимость моделей. ## Где встречается - [[45. Реализовать learning-to-rank с…

• wikineurosymbolic integration

  …Позволяет сочетать обучаемость нейросетей с интерпретируемостью символьных систем. ## Где встречается - [[200. Что вы видите следующим горизонтом после language representation|200…

• wikiExplanation-Decision Decoupling

  # Explanation-Decision Decoupling ## Определение Феномен, при котором объяснения агента не соответствуют его реальному процессу принятия решений, что снижает интерпретируемость и…

• wikiInterpretability

  # Interpretability ## Определение Свойство модели, позволяющее понять причины её решений; достигается методами вроде LIME, SHAP или анализа внутренних представлений, что критично…

• wikiMechanistic interpretability

  # Mechanistic interpretability ## Определение Область исследований, направленная на обратный инжиниринг нейросетей: выявление конкретных цепочек нейронов и механизмов, отвечающих за вычисление концепций…

• answerЧто такое representation engineering (RepE) и зачем он нужен?

  …не требует дорогостоящего обучения; достаточно одного [[Вики/backward pass\|forward pass]] на небольшом наборе примеров. - [[Вики/Interpretability\|Интерпретируемость]]: каждое направление…

• answerЧто такое «Clone-Structured Causal Graphs» (CSCG) и как они связаны со схемами?

  …Связь CSCG с механистической интерпретируемостью [[Вики/Mechanistic interpretability\|Механистическая интерпретируемость]] ([[Вики/Mechanistic interpretability\|mechanistic interpretability]]) пытается понять, как именно [[Вики…

• answerЧто такое LambdaMART и как он используется для reranking в RAG?

  …можно комбинировать любые признаки — от [[Вики/BM25\|BM25]] до эмбеддингов последней [[Вики/GPT-4o\|LLM]]. - [[Вики/Interpretability\|Интерпретируемость]]: анализ важности…

• answerВ чем разница между Chain-of-Thought (CoT) и Latent Reasoning?

  …Плюсы - [[Вики/Interpretability\|Интерпретируемость]] (человек может читать ход мыслей). - Простота реализации (достаточно изменить [[Вики/промпт агента\|промпт]]). - Хорошо работает на…

• answerЧто такое residual stream и как он связан с информационным потоком в трансформере?

  …Влияние на интерпретируемость Residual stream позволяет исследовать, какую информацию добавляет каждый слой. Например, можно вычислить разность `x_l - x_{l…

• answerКак работает multi-agent with role specialization (агенты-эксперты в разных доменах)?

  …достаточно создать нового эксперта и обновить роутер. | | [[Вики/Interpretability\|Интерпретируемость]] | Прозрачная маршрутизация: можно отследить, какой агент дал какой вклад. | | Эффективность…

• answerЧто такое Chain-of-Thought без токенов (latent CoT) и как это реализовано?

  …слои) | | [[Вики/Interpretability\|Интерпретируемость]] | Высокая (можно прочитать шаги) | Низкая (скрытые состояния не читаемы) | | Контролируемость | Можно редактировать шаги | Сложно вмешаться | | [[Вики…

• answerЧто такое ReAct Agent и как он работает?

  …ReAct сочетает рассуждение (reasoning) с взаимодействием со средой (acting), что повышает интерпретируемость и точность, но может приводить к зацикливанию и…

• answerЧто такое «Schema-Activated In-Context Learning» (SA-ICL)?

  …SA-ICL повышает точность, обобщаемость и интерпретируемость ответов, особенно в сложных задачах с многошаговыми рассуждениями. --- ## 1. Термин: In-Context Learning…

• answerКак вы оцениваете faithfulness RAG-ответа в production автоматически?

  …Сравнение методов | Метод | Точность | Стоимость | Интерпретируемость | Скорость | |-------|----------|-----------|--------------------|----------| | RAGAS (GPT-4) | Высокая | Высокая | Высокая | Средняя | | LLM-as-a-Judge | Высокая | Высокая…

• answerЧто такое Path-level evaluation для Agentic RAG и чем оно лучше token-level?

  …Низкая (только текст) | Средняя (нужен парсинг траектории) | | [[Вики/Interpretability\|Интерпретируемость]] | Низкая (число без контекста) | Высокая (можно увидеть, где ошибка) | Почему…

• answerЧто такое learning-to-rank (LTR) и как он применяется к retrieval для LLM?

  …можно добавить доменные фичи (например, для юридических документов — дата, статус). - [[Вики/Interpretability\|Интерпретируемость]]: LambdaMART показывает важность фичей. Недостатки: - Дополнительная задержка…

• answerЧто вы видите следующим горизонтом после language representation?

  …синтаксис гарантирует [[Вики/Faithfulness\|корректность]]. - [[Вики/Interpretability\|Интерпретируемость]]: план можно прочитать и проверить. - [[Вики/Compositionality\|Модульность]]: [[Вики/DSL\|DSL]] можно…

• answerЧто такое тест-тайм компьютинг (Test-Time Compute) и чем он отличается от обычного инференса?

  …модель «зацикливается» и начинает выдавать шум. - [[Вики/Interpretability\|Интерпретируемость]]: внутренние рассуждения невидимы, их сложно отлаживать. - [[Вики/divergence\|Нестабильность]]: небольшие изменения…

• answerЧто такое calibration в контексте reward model для RLHF?

  …качества (например, для ранжирования кандидатов в RAG), калибровка даёт интерпретируемость. - **DPO (Direct Preference Optimization)** — альтернативный метод, который вообще не использует…

• answerКак вы оцениваете faithfulness без ground truth (если нет правильного ответа)?

  …Средняя (смещение) | Высокая (обучена) | | Скорость | Быстро | Медленнее (требует GPU) | | Интерпретируемость | Низкая | Высокая (entailment/contradiction) | --- ## 4. RAGAS faithfulness metric [[Вики/RAGAS…

• answerКак работает градиентный анализ для объяснения решений LLM?

  …50–200). | Использовать меньше шагов (20–50) или аппроксимации. | | Интерпретируемость для человека | Атрибуции — это числа, их нужно визуализировать. | Тепловые карты…

• answerЧто такое Learned Index Structures for ANN? Новые подходы 2025-2026?

  …нейросеть может переобучаться на шум, давая плохие предсказания для редких регионов. - [[Вики/Interpretability\|Интерпретируемость]]: сложно понять, почему индекс направил поиск…

• answerКак работает модели типа Kosmos-2 (grounding объектов на изображении)?

  …в другой инструмент (например, обрезку изображения); - повысить [[Вики/Interpretability\|интерпретируемость]] ответа. --- ## 2. Архитектура Kosmos-2 [[Вики/Kosmos-2\|Kosmos-2…

• answerКак вы проектируете промпт для агента с инструментами?

  …Это предотвращает поспешные действия и улучшает [[Вики/Interpretability\|интерпретируемость]]. --- ## 2. Основные компоненты промпта агента Любой качественный [[Вики/prompt\|промпт]] для…

• answerЧто такое Chain-of-Thought без токенов (latent CoT, COCONUT)?

  …COCONUT) | |----------------|-------------|----------------------| | Форма рассуждений | Текст (токены) | Скрытые векторы | | [[Вики/Interpretability\|Интерпретируемость]] | Высокая (можно прочитать шаги) | Низкая (чёрный ящик) | | Расход токенов | Большой…

• answerКак работает DoRA (Weight-Decomposed LoRA) и чем лучше LoRA?

  …Требует слияния весов или дополнительного шага нормализации | | [[Вики/Interpretability\|Интерпретируемость]] | Низкая | Выше: можно анализировать изменение масштаба и направления отдельно | | [[Вики…

• answerЧто такое LLM для symbolic regression (AI Feynman) и как это работает?

  …производные становятся неточными, [[Вики/Сепарабельность\|сепарабельность]] трудно обнаружить. - [[Вики/Interpretability\|Интерпретируемость]]: хотя формула — это выражение, сложные формулы (с вложенными sin…

• answerЧто такое weak supervision для разметки данных для fine-tuning и как его применить?

  …источников сигнала | Не подходит для задач, где эвристики невозможны | | Интерпретируемость: можно анализировать вклад каждой LF | Требуется хотя бы небольшой валидационный…

• answerКак вы передаете состояние (state) между шагами агента?

  …Правильное [[Вики/state management\|управление состоянием]] напрямую влияет на [[Вики/performance\|производительность]], [[Вики/robustness\|отказоустойчивость]] и [[Вики/Interpretability\|интерпретируемость]] агента…

• answerЧто такое IRT (Item Response Theory) и как она применяется к LLM эвалюации?

  …Чувствительность к выбросам | Высокая | Устойчива (за счёт вероятностной модели) | | Интерпретируемость | Интуитивно понятна | Требует понимания шкалы θ | Пример из черновика - [[Вики…

• answerЧто такое AI for materials science (GNoME, MatterGen) и как это отличается от text LLM?

  …Вики/MatterGen\|MatterGen]] требует тысяч GPU-часов. - [[Вики/Interpretability\|Интерпретируемость]]: [[Вики/Graph Neural Network\|GNN]] сложно интерпретировать, в отличие от…

• answerКак вы измеряете дрейф модели (model drift) для LLM?

  …Преимущества простота, [[Вики/Interpretability\|интерпретируемость]]. Недостатки не учитывает [[Вики/sequence\|последовательность]] ответов, чувствителен к выбору [[Вики/baseline\|baseline]]. ```python from…

• answerЧто такое watermarking для LLM генераций и как его детектировать?

  …текстов существуют? (Watermarking как метод атрибуции) | | **604** | Что такое интерпретируемость LLM? (Watermark связан с объяснимостью происхождения) | | **608** | Как бороться с…

• answerКак вы строите DSL (Domain-Specific Language) для вашей LLM-системы?

  …напрямую вызывать [[Вики/API\|API]], функции, ретриверы. - [[Вики/Interpretability\|Интерпретируемость]]: сгенерированный DSL-скрипт можно логировать, анализировать и отлаживать. В [[Вики…

• answerКак вы калибруете retrieval confidence для threshold-based filtering?

  …данных (>1000) | | Предположения | Монотонная логит-линейная связь | Только монотонность | | Интерпретируемость | Простая формула | Сложнее | --- ## 4. Оценка качества калибровки ### 4.1 Reliability…

• answerЧто такое calibration ошибок модели и как ее измерять (ECE, MCE, Brier score)?

  …данных, сложные искажения | | Histogram binning | Непараметрический | число бинов | Простота, интерпретируемость | --- ## 8. Калибровка в LLM В LLM калибровка измеряется на уровне…

• answerЧто такое DPO (Direct Preference Optimization) и чем отличается от RLHF?

  …объёмах данных | Отличное | Потенциально лучше (более гибкая модель вознаграждения) | | Интерпретируемость reward | Скрыта в разнице вероятностей | Явная (можно анализировать reward model…

• answerКак работает связь между SGD и Adam? Почему Adam лучше для LLM?

  …Learning Rate Scheduling\|lr scheduling]] более устойчив. - Когда важна интерпретируемость SGD проще анализировать (один lr). - Ограниченные вычислительные ресурсы Adam требует…

• answerКак вы переключаете агента между инструментами (function calling) с разными сигнатурами?

  …рассуждение (CoT/ReAct)** | Модель «думает» перед вызовом | Высокая точность, интерпретируемость | Дороже по токенам, медленнее | | Иерархический выбор | Сначала выбирается категория, потом…

• answerЧто такое planner-executor архитектура для агентов?

  …Planner для стратегии и дешёвый Executor для тактики. - Нужна интерпретируемость — план можно показать пользователю и запросить подтверждение. Когда лучше не…

• answerКакие типы задач требуют Level 3 представления (scientific formalization)?

  …сложные модели собираются из простых блоков. - [[Вики/Interpretability\|Интерпретируемость]]: каждый символ и уравнение имеют однозначный смысл. - Вычислимость: [[Вики/model\|модель…

• answerКак работает attention между слоями (cross-layer attention) в современных архитектурах?

  …модели поддерживают cross-layer attention без модификации. - [[Вики/Interpretability\|Интерпретируемость]] — становится сложнее понять, какой слой за что отвечает. --- ## Пет-проект…

• question_bankЧАСТЬ 1: RAG-СИСТЕМЫ (20 вопросов)

  …answer("В Москве 15 градусов и дождь") ``` - **Плюсы:** интерпретируемость, наглядность - **Минусы:** может зациклиться, дорого (много токенов) **Акцент:** «ReAct — базовый паттерн…