Поиск

• answerКак вы оцениваете alignment модели с человеческими ценностями без gold standard?

  …RAG\|Agentic RAG]]: alignment агента включает не только ответы, но и выбор инструментов. Оценка — multi-objective: точность retrieval, безопасность действий…

• answerКак изменилась роль инженера с приходом Harness Engineering?

  …Влияние на архитектуру Agentic RAG В [[Вики/Agentic RAG\|Agentic RAG]] [[Вики/Harness-engineering\|Harness Engineering]] проявляется особенно ярко: - [[Вики…

• answerЧто такое Agent Loop и какие компоненты входят в production-ready loop?

  …Такой цикл обеспечивает надёжность, масштабируемость и безопасность агентного поведения. --- ## 1. Термин: Agent Loop – ядро слоя Harness В архитектуре RAG|Agentic…

• answerЧто такое Constitutional AI и как RLHF связан с ним?

  …обычного RAG? | | [[338. Как вы деплоите policy (RLHF модель) в production с online feedback loop\|338]] | Как обеспечить безопасность и…

• answerЧто такое adversarial retrieval (атака на retrieval компонент)?

  …Second opinion даёт лучший баланс. --- ## Связь с другими вопросами | Вопрос | Тема | |--------|------| | [[353\|353]] | Prompt injection в RAG | | [[355\|355]] | Безопасность…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать test plan для агента

  …LLM, инструменты, memory, RAG) | Собственный пет‑проект (Pet 160) или готовое описание от преподавателя | | Список инструментов агента (search, calculator, email…

• answerЧто такое AdmissionController в Harness и зачем он нужен?

  …строить agentic RAG? | | 741 | Как спроектировать инфраструктуру для agentic RAG? | | 742 | Как обеспечить безопасность в agentic RAG? | | 745 | Что такое…

• answerЧто такое jailbreak taxonomy (OOD, refusal suppression, role-play, перевод)?

  …Как работает model stealing attack и как защититься\|351]] | Как тестировать безопасность RAG-системы? | | [[353. Как работает embedding poisoning для…

• answerЧто такое model cards и system cards и как их составлять?

  …Как выполнять requirement on transparency (статья 13 EU AI Act) для LLM\|733]] | Как обеспечить безопасность в Agentic RAG (guardrails…

• answerЧто такое watermarking для LLM генераций и как его детектировать?

  …Применение в Agentic RAG и безопасность В контексте [[Вики/Agentic RAG\|Agentic RAG]] [[Вики/watermarking\|watermarking]] решает несколько задач: - Атрибуция…

• answerКак вы управляете секретами (API keys для LLM) в Kubernetes?

  …Как вы отслеживаете data drift для распределения запросов к RAG\|260]] | Как обеспечить безопасность Multi‑tenant RAG? | | [[270. Как вы…

• answerКак работает prompt leakage (кража системного промпта) и как защититься?

  …Что такое malicious embeddings (атака через векторные БД)\|610]] | Как обеспечить безопасность данных в RAG? | | [[601. Что такое data poisoning…

• answerЧто такое Harness Engineering и чем он отличается от Prompt Engineering и MLOps?

  …Почему Harness Engineering критичен для Agentic RAG [[Вики/Agentic RAG\|Agentic RAG]] — это архитектура, где LLM-агент самостоятельно решает, когда…

• answerКак вы оцениваете alignment модели с человеческими ценностями без gold standard?

  …methods)\|500]] | Как обеспечить безопасность действий агента? | | [[501. Что такое Path-level evaluation для Agentic RAG и чем оно лучше…

• answerЧто такое representation engineering (RepE) и зачем он нужен?

  …можно динамически включать/выключать контроль во [[Вики/Latency\|время инференса]]. - [[Вики/Safetysecurity\|Безопасность]]: позволяет блокировать нежелательное поведение ([[Вики/toxic content…

• answerКак вы проектируете Harness для mission-critical приложения? Приведите пример с агентом для банковских переводов.

  …Для банковских переводов это означает абсолютную [[Вики/reliability\|надёжность]], [[Вики/Safetysecurity\|безопасность]] и аудируемость. - [[Вики/Agentic RAG\|Agentic RAG]] — архитектура…

• answerКак вы комбинируете несколько языков представления в одном пайплайне?

  …Архитектура пайплайна с мультиязыковым представлением Типичный [[Вики/пайплайн\|пайплайн]] [[Вики/Agentic RAG\|Agentic RAG]] включает следующие этапы, на каждом из…

• answerЧто такое Safety & Guardrails как слой Harness? Чем runtime guardrails отличаются от тестирования?

  …Вики/Task\|Задача]] Создать простую RAG-систему для поиска по документам компании с безопасностью: реализовать runtime guardrails на входе (детекция…

• answerЧто такое Indirect Prompt Injection через RAG и как защититься?

  …как Indirect Prompt Injection работает в RAG Типичная RAG-система: 1. Пользователь отправляет запрос. 2. Retrieval ищет релевантные чанки в…

• answerКак вы логируете все вызовы LLM для аудита?

  …Как вы шифруете данные для RAG (конфиденциальность)\|68]] (безопасность RAG-систем) | Маскировка PII и контроль доступа напрямую связаны с безопасностью…

• answerКак вы делаете agent с human values alignment (Constitutional AI для агентов)?

  …Что такое Agentic RAG и чем отличается от обычного RAG?\|587]] | Общий контекст, в котором нужно выравнивание | --- ## Навигация (Obsidian) - Предыдущий…

• answerЧто такое reflection loops для агентов и как они работают?

  …Зачем нужны reflection loops в Agentic RAG В [[Вики/Agentic RAG\|Agentic RAG]] [[Вики/agent\|агент]] не просто ищет документы…

• answerКак вы боретесь с «бесконечным циклом» агента в Agentic RAG?

  …Как вы реализуете планирование в Agentic RAG?\|142]] - Следующий: [[144. Как вы обеспечиваете безопасность агента в Agentic RAG?\|144]] - [[Вики…

• answerЧто такое «аутсорсинг» задачи другому LLM (с другим API, другой ценой)?

  …Как выбирать LLM для RAG-системы\|774]] | Критерии выбора модели для агента | | [[775. Безопасность в Agentic RAG\|775]] | Риски при…

• answerЧто такое agent safety constraints (ограничения на действия агента)?

  …интеграция в agentic pipeline Типичная архитектура [[Вики/Agentic RAG\|agentic RAG]] с [[Вики/safety\|safety constraints]]: ``` User query -> Orchestrator -> (Planning…

• answerКак вы переключаете между уровнями представления для разных типов запросов?

  …Интеграция в Agentic RAG В [[Вики/Agentic RAG\|Agentic RAG]] Router является частью цикла агента. Типичная архитектура: 1. Пользовательский запрос…

• answerЧто вы видите следующим горизонтом после language representation?

  …Почему language representation недостаточно для Agentic RAG [[Вики/Agentic RAG\|Agentic RAG]] — это система, где [[Вики/agent\|LLM-агент]] не…

• answerКак управлять версиями промптов в production (best practices)?

  …работу агентов? | | 801 | Что такое Agentic RAG и его архитектура? | | 806 | Как обеспечить безопасность в system prompt? | --- ## Навигация (Obsidian) - Предыдущий…

• answerКак вы проектируете бенчмарк для нового домена (медицина, юриспруденция)?

  …Как вы оцениваете качество retrieval'а в RAG-системе\|5]] | Как вы оцениваете качество retrieval'а в RAG-системе? | | [[10…

• answerКак вы переносите агента из прототипа в production (MLOps)?

  …в POC можно игнорировать [[Вики/graceful degradation\|отказоустойчивость]], [[Вики/мониторинг\|мониторинг]] и [[Вики/Safetysecurity\|безопасность]] — в production это критично. --- ## 2…

• answerКакие протоколы меж-агентской коммуникации существуют (A2A, MCP, OpenAI swarm)?

  …Зачем нужны протоколы меж-агентской коммуникации В [[Вики/Agentic RAG\|Agentic RAG]] и мульти-агентных системах несколько агентов (специализированных [[Вики…

• answerКакие failure modes уникальны для multi-agent систем (vs single agent)?

  …Оценка качества multi-agent RAG | | [[185. Как код как язык представления улучшает рассуждение LLM\|185]] | Безопасность в multi-agent системах…

• answerКак вы A/B тестируете агентов в production?

  …AgentA (базовый RAG) и AgentB (с улучшенным retrieval, например, с переранжированием). 2. Реализуйте shadow mode: оба агента запускаются параллельно, ответ…

• answerКак вы защищаете LLM от prompt injection через RAG (когда документ содержит инструкцию)?

  …Как вы оцениваете качество retrieval'а в RAG-системе\|5]] | Оценка качества retrieval (влияние на безопасность) | | [[7. Как вы уменьшаете…

• answerКак бы вы спроектировали multi-tenant RAG (разные компании, изолированные данные)?

  …Как бы вы спроектировали multi-tenant RAG (разные компании, изолированные данные)? ## Краткий тезис [[Вики/multi-tenant RAG\|Multi-tenant RAG…

• wikiNeMo Guardrails

  …Как вы предотвращаете галлюцинации в production RAG системе|96. Как вы предотвращаете галлюцинации в production RAG системе]] - [[108. Что такое…

• answerЧто такое adversarial fine-tuning для защиты от jailbreak?

  …Как вы защищаете multi-agent систему от вредоносного агента\|359]] | Безопасность RAG-систем | | [[358. Что такое watermarking для LLM генераций…

• answerЧто такое benchmark chasing и почему это опасно?

  …Специфика benchmark chasing в Agentic RAG В [[Вики/Agentic RAG\|Agentic RAG]] агент использует инструменты (поиск, калькулятор, API). Бенчмарки для…

• answerКак вы защищаете LLM от градиентных атак (white-box jailbreak)?

  …Что такое adversarial retrieval (атака на retrieval компонент RAG)\|599]] | Red teaming и безопасность LLM | | Вопрос [[601. Что такое data…

• answerКак делать sandboxing для agent tools (изоляция выполнения)?

  …Правильный выбор песочницы — [[Вики/trade-off\|компромисс]] между безопасностью, производительностью и сложностью эксплуатации. --- ## 1. Зачем нужен sandboxing в agentic RAG…

• answerКак спроектировать агента, который может самоисправляться (self-correction)?

  …В контексте [[Вики/Agentic RAG\|Agentic RAG]] это особенно важно, так как [[Вики/AI agents\|агент]] может опираться на неверно…

• practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Multi-tenant RAG с изоляцией данных

  …201 | | Безопасность tenant-изоляции в приложениях ИИ | Security | 378 | | LangChain: работа с несколькими векторными сторами | LangChain | 89 | | Тестирование RAG-систем…

• answerКак код как язык представления улучшает рассуждение LLM?

  …Интеграция в Agentic RAG В архитектуре [[Вики/Agentic RAG\|Agentic RAG]] [[Вики/Code\|код]] используется как универсальный язык для взаимодействия…

• answerКак вы обрабатываете production incident с LLM (playbook)?

  …recall (через LLM-as-judge) | LangSmith, Weights & Biases, RAGAS | | [[Вики/Safetysecurity\|Безопасность]] | Toxicity score, PII leakage, Prompt injection detection | Guardrails…

• answerЧто такое ∇-Reasoner (nabla-reasoner) и как он использует градиентный спуск на этапе теста?

  …Связь с Agentic RAG [[Вики/Agentic RAG\|Agentic RAG]] — это подход, в котором [[Вики/agent\|агент]] ([[Вики/GPT-4o\|LLM…

• answerКак вы тестируете агента на «неожиданные input» (не только adversarial, но и просто странные)?

  …Почему это важно для агента? [[Вики/agent\|Агент]] в [[Вики/Agentic RAG\|Agentic RAG]] не просто генерирует ответ, а может…

• answerЧто такое diffusion backends для генерации изображений (Stable Diffusion, Flux) и как их вызывать из агента?

  …Как работает мультимодальный RAG с unified retrieval (один индекс для текста и изображений)\|555]] | Безопасность агентов (prompt injection) | --- ## 12. Навигация…

• answerКак вы обеспечиваете «человека в петле» (HITL) для критических действий агента?

  …RAG\|141]] | Инструменты агента (какие действия считать опасными) | | [[144. Как вы передаете состояние (state) между шагами агента\|144]] | Безопасность агента…

• answerЧто такое Prompt Injection и как вы защищаетесь?

  …Какие embedding-модели вы использовали и почему\|15]] | Безопасность LLM: обзор уязвимостей (OWASP Top [[10. Что такое Self-RAG и…

• answerКак работает LLM fingerprinting (идентификация модели по ответам)?

  …Fingerprint позволяет это проверить. - Безопасность: обнаружение подмены модели в цепочке агентов (RAG|Agentic RAG) или при использовании сторонних LLM. - Соблюдение…