Поиск

wikiJSON Schema validation
…Обеспечивает безопасность и предсказуемость вызовов в системах агентов. ## Где встречается - [[751. Что такое Tool System в Harness (defineTool, registry, JSON…
answerКак изменилась роль инженера с приходом Harness Engineering?
…Проектирование инструментов для агентов (tool definitions) | | #741 | Мониторинг и логирование в агентных системах (observability) | | #742 | Безопасность агентных систем (guardrails, политики…
answerКак вы A/B тестируете агентов в production?
…Как вы обеспечиваете безопасность агентов?\|178]] - Следующий: [[180. Как вы логируете действия агентов?\|180]] - Индекс: [[00. Индекс разборов]] --- ## Навигация (Obsidian…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Написать test plan для агента
…AI-агентов, включая функциональную [[Вики/Faithfulness\|корректность]], [[Вики/robustness\|устойчивость]] к [[Вики/edge\|edge]]‑cases, [[Вики/Safetysecurity\|безопасность]] ([[Вики/промпт…
wikiConstitutional AI
…Как вы делаете agent с human values alignment (Constitutional AI для агентов)|589. Как вы делаете agent с human values…
answerКак вы делаете agent с human values alignment (Constitutional AI для агентов)?
…Как вы делаете agent с human values alignment (Constitutional AI для агентов)? ## Краткий тезис [[Вики/safety alignment\|Human values alignment…
answerКакие протоколы меж-агентской коммуникации существуют (A2A, MCP, OpenAI swarm)?
…Как обеспечивается безопасность при взаимодействии агентов\|809]] - Следующий: [[811. Как проектировать систему агентов для сложного customer support\|811]] - Индекс: [[00…
answerЧто такое Constitutional AI и как RLHF связан с ним?
…Преимущества Constitutional AI - [[Вики/Safetysecurity\|Безопасность]]: конституция явно запрещает вредные действия, и [[Вики/model\|модель]] учится их избегать даже без…
answerКакие failure modes уникальны для multi-agent систем (vs single agent)?
…Communication overhead explosion **Communication overhead explosion** — квадратичный рост числа сообщений при увеличении числа агентов. В полносвязной топологии каждый агент общается…
answerКак проектировать reputation system для агентов в децентрализованной системе?
…Как предотвращать free-riding в multi-agent системе (агенты не вносят вклад, но потребляют)\|726]] | Как обеспечить безопасность агентов в…
answerКак вы делаете A/B тест между двумя агентами с разными архитектурами (ReAct vs Plan-and-Execute)?
…Как вы обеспечиваете безопасность AI-агента?\|401]] | Безопасность агентов | | [[395. Что такое ReAct агент?\|395]] | Архитектура ReAct | | [[396. Что такое…
answerКак вы защищаете multi-agent систему от вредоносного агента?
…Вредоносный [[Вики/AI agents\|агент]] — [[Вики/AI agents\|агент]], который намеренно или случайно нарушает [[Вики/Safetysecurity\|безопасность]] системы: крадет данные…
answerЧто такое reflection loops для агентов и как они работают?
…Как работает Toolformer-like обучение для агентов (self-supervised tool use)\|568]] | Память агентов (memory) | | [[570. Что такое tree search…
answerКакие инструменты для агентской эвалюации вы используете?
…Метрики для разных типов агентов - **Single-agent (один агент с инструментами):** reliability, factual grounding, hallucination, cascade. - **Multi-agent (несколько агентов…
answerКак вы проектируете Harness для mission-critical приложения? Приведите пример с агентом для банковских переводов.
…которая обеспечивает [[Вики/Safetysecurity\|безопасность]], [[Вики/reliability\|надёжность]] и [[Вики/мониторинг в production\|наблюдаемость]] AI-агентов в [[Вики/Mission-Critical…
answerКак вы fine-tune модель для функции "вызов внешнего API"?
…безопасности при fine-tuning | Безопасность function calling (защита от инъекций). | | [[45. Как вы тестируете агентов (сложно из-за стохастичности)\|45…
answerКак работает hierarchical planning для агентов (разбивка на подзадачи)?
…Как вы делаем agent with theory of mind (понимание намерений пользователя)\|580]] | Как обеспечить безопасность агентов? | | [[581. Что такое multi…
answerКак работают agent swarms (рой агентов)?
…Scalability]] (пропускная способность при N агентов). Метрики можно собирать из логов сообщений. --- ## 12. Безопасность и контроль Рои сложно контролировать из…
answerКак вы измеряете объяснимость (explainability) агентских решений?
…Как вы мониторите агентов в продакшне? | | [[175. Как детектировать «объяснительно-решенческую декомпозицию»\|175]] | Как вы обеспечиваете безопасность агента (prompt injection…
answerЧто такое model cards и system cards и как их составлять?
…Без system card невозможно гарантировать безопасность и предсказуемость такого сложного пайплайна. --- ## 9. Пет-проект для закрепления [[Вики/Task\|Задача]]: Создать…
answerКак управлять версиями промптов в production (best practices)?
…и логировать работу агентов? | | 801 | Что такое Agentic RAG и его архитектура? | | 806 | Как обеспечить безопасность в system prompt? | --- ## Навигация…
answerЧто такое «simulation testing» (тестирование в симулированной среде)?
…Что такое «simulation testing» (тестирование в симулированной среде)? ## Краткий тезис [[Вики/Simulation testing\|Simulation testing]] — это метод тестирования AI-агентов…
wikiNeMo Guardrails
# NeMo Guardrails ## Определение Библиотека для создания runtime guardrails, перехватывающих вредоносный ввод/вывод LLM-агентов и защищающих от атак, включая adversarial…
answerЧто такое «agentic mesh» (сеть взаимодействующих агентов) и как вы его дебажите?
…оценивать агентов в agentic mesh | | [[394. Как вы делаете агента «забывающим» (для GDPR privacy compliance)\|394]] | Как обеспечить безопасность и…
answerКак тестировать delegation paths (интеграционное тестирование multi-agent)?
…771 | Безопасность и изоляция агентов | | 772 | Масштабирование multi-agent систем | --- ## Навигация (Obsidian) - Предыдущий: [[768. Что такое «ротация агентов» (load balancing…
answerКак вы управляете секретами (API keys для LLM) в Kubernetes?
…метрики агентов в Kubernetes? | | [[260. Как вы отслеживаете data drift для распределения запросов к RAG\|260]] | Как обеспечить безопасность Multi…
answerКак вы дебажите агента, который делает неправильные действия?
…Инструменты: | Инструмент | Основная функция | |---|---| | [[Вики/LangSmith\|LangSmith]] | Трассировка цепочек и агентов, интерактивный просмотр дерева вызовов, метрики latency/tokens | | [[Вики/AgentOps…
answerЧто такое AdmissionController в Harness и зачем он нужен?
…Harness и Agentic RAG [[Вики/Harness Engineering\|Harness]] — это платформа для оркестрации AI-агентов, включающая компоненты для построения [[Вики/Agentic…
answerКак вы делаете online RL для агентов (self-improvement loops)?
…Как вы делаете online RL для агентов (self-improvement loops)? ## Краткий тезис reinforcement learning|Online Reinforcement Learning (RL) для агентов…
answerЧто такое representation engineering (RepE) и зачем он нужен?
…можно динамически включать/выключать контроль во [[Вики/Latency\|время инференса]]. - [[Вики/Safetysecurity\|Безопасность]]: позволяет блокировать нежелательное поведение ([[Вики/toxic content…
answerКак вы тестируете агента на «неожиданные input» (не только adversarial, но и просто странные)?
…Зачем тестировать агента на неожиданные input? | Аспект | Последствия при отсутствии тестирования | |--------|----------------------------------------| | [[Вики/Safetysecurity\|Безопасность]] | Prompt injection может заставить агента выполнить…
answerКакие инструменты (tools/functions) дать агенту для автоматизации бизнес-задач? (ваш кейс!)
…Как вы тестируете агентов (сложно из-за стохастичности)\|45]] | Выбор фреймворка для AI-агентов | | [[47. Что такое ReAct Agent и…
answerЧто такое «canary testing» для агентов (10% трафика на новую версию)?
…Что такое «canary testing» для агентов (10% трафика на новую версию)? ## Краткий тезис Canary testing (deployment|канареечное тестирование) — это стратегия…
answerЧто такое Prompt Injection и как вы защищаетесь?
…Минимальные привилегии (Principle of Least Privilege) Для агентов ([[Вики/GPT-4o\|LLM]], вызывающих инструменты — [[Вики/API\|API]], базы данных, файлы…
answerЧто такое agent communication protocol (формат сообщений между агентами)?
…Понятие agent communication protocol [[Вики/Agent Communication Protocol\|Agent communication protocol]] (протокол коммуникации агентов) определяет: - Синтаксис сообщения (как выглядит, какие…
answerКак делать property-based testing для агентов?
…Как проектировать агентов с использованием инструментов\|100]] | Stateful testing для агентов с тулами | | [[200. Что такое property-based testing в…
answerКак вы переносите агента из прототипа в production (MLOps)?
…в POC можно игнорировать [[Вики/graceful degradation\|отказоустойчивость]], [[Вики/мониторинг\|мониторинг]] и [[Вики/Safetysecurity\|безопасность]] — в production это критично. --- ## 2…
answerКак вы проектируете агента, который может работать непрерывно (24/7) без дрейфа поведения?
…Что такое «agentic mesh» (сеть взаимодействующих агентов) и как вы его дебажите\|392]] | Как вы версионируете агентов? | | [[393. Как вы…
answerКак вы обеспечиваете «человека в петле» (HITL) для критических действий агента?
…В контексте агентов HITL означает, что перед выполнением критического действия (action|dangerous action) агент приостанавливается и ждёт одобрения оператора. Зачем…
answerКак моделировать экономику агентов с ограниченными бюджетами на API вызовы?
…Экономика агентов (Agent Economics) [[Вики/экономика агентов\|Экономика агентов]] – это подход, при котором каждый [[Вики/AI agents\|агент]] ([[Вики/agent…
answerЧто такое «аутсорсинг» задачи другому LLM (с другим API, другой ценой)?
…Архитектура Agentic RAG\|770]] | Общая архитектура агентов с RAG | | [[771. Multi-agent системы\|771]] | Кооперация нескольких агентов | | [[773. Стоимость и…
answerНазовите 12+ слоёв эталонной архитектуры Harness?
…Multi‑Agent Orchestration (Оркестрация мульти‑агентов) Когда система состоит из нескольких агентов, этот слой управляет: - [[Вики/AgentPool\|AgentPool]] — [[Вики/AgentPool…
answerКак вы комбинируете несколько языков представления в одном пайплайне?
…В контексте AI-агентов выделяют три основных типа: - **[[Вики/natural language\|Natural Language]] (NL)** — [[Вики/natural language\|естественный язык]] (русский…
answerКак комбинировать LLM с симуляторами физики (digital twins)?
…Что такое EU AI Act и как оно влияет на деплой LLM в production\|732]] | Безопасность AI-агентов при доступе…
answerКак проектировать аукцион для allocation вычислительных ресурсов между агентами?
…Как работает speculative execution на GPU для LLM (branch prediction)\|711]] | Как обеспечить безопасность взаимодействия агентов? | --- ## Навигация (Obsidian) - Предыдущий: [[718…
answerКак работает diffusion backends для генерации изображений в AI-агентах?
…Обработка результатов и безопасность После получения изображения агент должен: - Проверить на ошибки: таймаут, пустой ответ, content filter (например, DALL‑E…
answerКак проектировать agent permissions (least privilege модель)?
…и API для агентов | | 889 | Память и контекст агента | | 890 | Наблюдаемость агентов (traces, logs) | | 891 | Безопасность агентских систем | | [[124. Что…
answerЧто такое benchmark chasing и почему это опасно?
…Команды оптимизируют агентов под конкретные сценарии (например, работа с GitHub issues). Но в реальности агент может «заучивать» последовательности действий, а…
answerКак работает prompt leakage (кража системного промпта) и как защититься?
…Что такое data poisoning атака на fine-tuning и как защититься\|601]] | Архитектура Agentic RAG (безопасность агентов) | | [[612. Что такое…
answerЧто такое Harness Engineering и чем он отличается от Prompt Engineering и MLOps?
…Такая автономность требует особенно надёжной обвязки: - [[Вики/Safetysecurity\|Безопасность]]: агент может случайно выполнить опасное действие (удалить файл, отправить письмо). Guardrails…