Поиск

wikichaos engineering
# chaos engineering ## Определение Методология тестирования устойчивости системы путём преднамеренного внесения сбоев (задержки, ошибки API, отказы компонентов) для выявления слабых мест…
wikiSteady State
# Steady State ## Определение Набор метрик, описывающих正常工作 системы, от которого отталкиваются в chaos engineering. ## Где встречается - [[384. Как вы проводим chaos…
wikifault injection
…Реализовать chaos testing для агента|98. Реализовать chaos testing для агента]] - [[124. Настроить SLA между агентами|124. Настроить SLA между…
wikiChaos Toolkit
# Chaos Toolkit ## Определение Фреймворк для проведения chaos engineering экспериментов, поддерживающий различные типы сбоев (HTTP, инфраструктурные). ## Где встречается - [[148. Реализовать simulation…
wikiToxiproxy
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[124. Настроить SLA…
answerКак вы проводите chaos engineering для RAG системы?
…Без [[Вики/chaos engineering\|chaos engineering]] вы узнаёте о проблемах только в продакшене, когда пользователи жалуются. [[Вики/chaos engineering\|Chaos…
wikiembedding API
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[524. Как вы…
answerЧто такое «chaos testing» для агента (внезапно API вернул ошибку)?
…Определение chaos testing в контексте AI-агентов **[[Вики/chaos engineering\|Chaos testing]]** (или **[[Вики/chaos engineering\|Chaos Engineering]]**) — практика, заимствованная…
wikiretry
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[404. Что такое…
wikiThundering Herd
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[815. Что такое…
wikiLatency injection
# Latency injection ## Определение Техника chaos engineering, искусственно увеличивающая задержки для проверки устойчивости системы к таймаутам. ## Где встречается - [[832. Как проектировать…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить chaos testing для AI-агента
…Напишите краткий [[Вики/chaos engineering\|chaos testing]] report (в [[Вики/README.md\|README.md]]) со структурой: - Цель - Описание эксперимента - Результаты…
wikijitter
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[830. Как проектировать…
wikistructured logging
…Как Harness Engineering связан с наблюдаемостью (OpenTelemetry, LangSmith, трассировка)|754. Как Harness Engineering связан с наблюдаемостью (OpenTelemetry, LangSmith, трассировка)]] - [[Практика…
wikiGremlin
# Gremlin ## Определение Платформа chaos engineering для внесения сбоев при тестировании устойчивости агентов, а также язык запросов для графовых баз данных…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать chaos testing для агента
…времени ожидания (таймауты) в HTTP-клиентах | | 431 | Chaos Engineering: принципы и инструменты (chaostoolkit) | | 567 | Обработка ошибок в LLM-агентах | | 610…
wikiSuccess rate
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[393. Как вы…
wikiCrewAI
…Что такое Coordination Engineering и чем он отличается от Harness Engineering|753. Что такое Coordination Engineering и чем он отличается…
wikicircuit breaker
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[404. Что такое…
wikiLLM endpoint
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[406. Что такое…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать circuit breaker на вызовы агента
…пропустить один [[Вики/Prompt engineering\|запрос]]; если он успешен → CLOSED, если [[Вики/Failure mode\|ошибка]] → OPEN. 2. Добавить потокобезопасность через…
wikiключевой поиск
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[404. Что такое…
wikicaching
…Что такое Cost Engineering для LLM-систем|775. Что такое Cost Engineering для LLM-систем]] - [[780. Как измерять ROI от…
wikiexponential backoff
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[404. Что такое…
wikitimeout
…Что такое Delegation Engineering и чем он отличается от Harness Engineering|760. Что такое Delegation Engineering и чем он отличается…
wikiError rate
…Как выглядит process operational excellence в Harness Engineering (ORR, Operational Reviews)|756. Как выглядит process operational excellence в Harness Engineering…
wikihealth check
…Как выглядит process operational excellence в Harness Engineering (ORR, Operational Reviews)|756. Как выглядит process operational excellence в Harness Engineering…
answerКак вы делаете multi-region failover с RTO <5 минут?
…Тестирование и Chaos Engineering Регулярные тесты failover обязательны. Подходы: - GameDays — запланированные учения, где симулируется отказ региона. - **Chaos Engineering** — инструменты (Chaos…
answerКак тестировать fallback и graceful degradation?
…при unit-тестах заменяйте реальные вызовы на имитацию (mock) с нужным поведением (поднять исключение, вернуть garbage). - **Chaos Engineering**: для интеграционных…
answerКак вы проектируете disaster recovery для LLM системы при сбое региона?
…Тестирование DR (Chaos Engineering) Без регулярного тестирования план DR остаётся теоретическим. Инструменты: - [[Вики/Chaos Mesh\|Chaos Mesh]] — симуляция отказа региона…
wikibaseline
…Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)|748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation…
wikirate limiting
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[404. Что такое…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Настроить SLA между агентами
…метрики и алерты | | 112 | Fallback-стратегии при недоступности сервиса | | 134 | Chaos engineering для тестирования отказоустойчивости | | 156 | Проектирование API с учётом…
wikiagent
…Как Harness Engineering помогает решить проблему гарантий исполнения в критических миссиях (mission-critical)|752. Как Harness Engineering помогает решить проблему…
wikigraceful shutdown
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[404. Что такое…
wikiPrometheus
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[385. Как вы…
wikiRedis
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[389. Как вы…
wikiQdrant
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[389. Как вы…
wikifallback model
…Как вы проводим chaos engineering для RAG системы|384. Как вы проводим chaos engineering для RAG системы]] - [[385. Как вы…
answerКак проектировать graceful degradation при отказе LLM API?
…provider" in response.json() # проверяем, что указан источник ``` ### Chaos engineering (Gremlin / Chaos Mesh) - Регулярно отключать один из провайдеров и проверять…
answerКак вы делаете агента "отказоустойчивым" (graceful degradation)?
…Тестирование отказоустойчивости Используйте **[[Вики/chaos engineering\|chaos engineering]]** для агентов: намеренно отключайте [[Вики/Внешние API\|внешние API]], задерживайте ответы, возвращайте…
answerКак выглядит process operational excellence в Harness Engineering (ORR, Operational Reviews)?
…скрипт (например, перезапуск подов, увеличение реплик). - [[Вики/fault injection\|Chaos engineering]] — регулярные эксперименты с внесением отказов (выключение узлов, сетевые задержки…
answerКак вы автоматизируете rollback при деградации качества?
…Как вы проводим chaos engineering для RAG системы\|384]] | Как вы мониторите качество Agentic RAG в production? | | [[386. Как вы…
answerКак вы делаете agent robustness к missing API (когда инструмент временно недоступен)?
…Тестирование устойчивости (chaos engineering) Для проверки [[Вики/robustness\|robustness]] проводят [[Вики/fault injection\|chaos testing]]: - Искусственно отключают [[Вики/Primary\|primary…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать simulation testing для AI-агента
…использование счётчиков в тестах | | 267 | Chaos engineering для REST API на практике | | 320 | CI/CD pipeline для Python: pytest + GitHub…
answerКак вы определяете SLO и SLA для LLM сервиса?
…Как вы проводим chaos engineering для RAG системы\|384]] | Как управлять версиями моделей (model registry, A/B тесты) | | [[385. Как…
answerКак организовать multi-region active-passive для LLM API?
…Тестирование failover Регулярно проводить Chaos Engineering Game Days: - Выключить активный регион (убить процесс LLM или отключить сеть). - Измерить RTO и…
answerЧто такое «simulation testing» (тестирование в симулированной среде)?
…Например, [[Вики/simulator\|симулятор]] рекомендательной системы возвращает заранее заданные топ-N товаров. ### 3.4 Chaos Engineering for Agents Более продвинутая…
indexПРАКТИЧЕСКИЙ ЧЕКЛИСТ: СТАFF+ AI SYSTEMS ENGINEERING
…195 | | 383 | Error budget | Exist 254, C 131 | | 384 | Chaos engineering | Q 153, Dist 191 | | 385 | Auto-rollback | Q 150…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать retry storm mitigation (exponential backoff + jitter)
…under cascading failures | | #311 | Graceful degradation in microservices | | #401 | Chaos engineering: testing retry storms | | #567 | Observability: logging and metrics for…