Поиск

wikiтестирование агентов
# тестирование агентов ## Определение Процесс количественной и качественной оценки поведения AI-агента в контролируемых сценариях, включающий проверку корректности шагов, целостности траектории…
wikiWireMock
…Что такое «simulation testing» (тестирование в симулированной среде)]] - [[799. Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов…
wikiSpinnaker
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikiresponses
…Что такое «simulation testing» (тестирование в симулированной среде)]] - [[799. Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов…
wikiIntegration testing
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[800+ вопросов|800+ вопросов]] - [[10. Реализовать topology…
wikiHypothesis
…Как делать property-based testing для агентов]] - [[799. Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в…
wikiQuality gates
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[800+ вопросов|800+ вопросов]] - [[152. Реализовать test…
wikiproperty-based tests
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikiperformance tests
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikiContract testing
…Что такое «simulation testing» (тестирование в симулированной среде)]] - [[187. Реализовать handshake при соединении агентов|187. Реализовать handshake при соединении агентов…
wikiGitHub Actions
…Что такое «regression testing» для агентов (старый кейс сломался)]] - [[799. Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование…
wikiстатистический тест
…Как тестировать агентов на недетерминированность|785. Как тестировать агентов на недетерминированность]] - [[800+ вопросов|800+ вопросов]] - [[248. Агент с AB тестированием…
wikiMock API
…Интегрировать тестирование в CICD]] - [[173. Реализовать prompt lifecycle|173. Реализовать prompt lifecycle]] - [[187. Реализовать handshake при соединении агентов|187. Реализовать…
wikiDeterministic seed
…Как тестировать агентов на недетерминированность|785. Как тестировать агентов на недетерминированность]] - [[787. Как делать property-based testing для агентов|787…
wikiTask Completion Rate
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikiArgoCD
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikiEnd-to-end test
…Как тестировать агентов на недетерминированность|785. Как тестировать агентов на недетерминированность]] - [[788. Что такое «simulation testing» (тестирование в симулированной среде…
wikiSimulation testing
…AI-агентов в контролируемой симулированной среде с подменой внешних взаимодействий. ## Где встречается - [[788. Что такое «simulation testing» (тестирование в симулированной…
wikipytest
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[29. Реализовать автоматический postmortem|29. Реализовать автоматический…
wikicanary deployment
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[800. Что такое Prompt Registry (каталог промптов…
wikit-test
…Реализовать AB тестирование промптов|163. Реализовать AB тестирование промптов]] - [[248. Агент с AB тестированием|248. Агент с AB тестированием]] ## Навигация…
wikiArgo Rollouts
…Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[382…
wikiStateful testing
# Stateful testing ## Определение Техника property-based testing для агентов с внутренним состоянием, использующая автоматные модели для проверки корректности переходов. ## Где…
wikiрегрессионное тестирование
…Как тестировать delegation paths (интеграционное тестирование multi-agent)]] - [[785. Как тестировать агентов на недетерминированность|785. Как тестировать агентов на недетерминированность…
wikidelegation chain
# delegation chain ## Определение Последовательность агентов (или компонентов), через которую проходит запрос в мультиагентной системе; тестирование таких путей критически важно для…
wikiContext Recall
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00…
wikiUnit testing
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[Практика|Практика]] - [[800+ вопросов|800+ вопросов]] - [[10…
wikiCI
…Как тестировать агентов на недетерминированность|785. Как тестировать агентов на недетерминированность]] - [[801. Как делать AB тестирование промптов в production|801…
wikiRandom
…Что такое «ротация агентов» (load balancing между агентами)|768. Что такое «ротация агентов» (load balancing между агентами)]] - [[800+ вопросов|800…
wikiSageMaker
…обучения, поддерживающий A/B тестирование моделей. ## Где встречается - [[790. Что такое «canary testing» для агентов (10% трафика на новую версию…
wikirollback
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[803. Как делать canary deployment для промптов…
wikiproperty-based testing
# property-based testing ## Определение Метод тестирования, проверяющий инвариантные свойства системы вместо конкретных ответов, часто используется для агентов и генерации случайных…
wikiFeature flag
…Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[89…
wikik6
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[800+ вопросов|800+ вопросов]] - [[37. Реализовать sharded…
wikiCI/CD
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[800. Что такое Prompt Registry (каталог промптов…
wikiedge case
…Покрытие edge cases обязательно при тестировании агентов и промптов. ## Где встречается - [[788. Что такое «simulation testing» (тестирование в симулированной среде…
wikiЭскалация человеку
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[Практика|Практика]] - [[800+ вопросов|800+ вопросов]] ## Навигация…
wikifault injection
…Позволяет проверить поведение агентов при сбоях. ## Где встречается - [[769. Как тестировать delegation paths (интеграционное тестирование multi-agent)|769. Как тестировать…
wikiнедетерминированность
# недетерминированность ## Определение Свойство агентов, обусловленное стохастичностью LLM (temperature > 0), вариативностью времени выполнения и задержками API, что затрудняет тестирование и воспроизводимость…
wikicompletion rate
…Как делать AB тестирование промптов в production|801. Как делать AB тестирование промптов в production]] - [[807. Что такое «prompt observability…
answerКак тестировать delegation paths (интеграционное тестирование multi-agent)?
…архитектура, где несколько автономных агентов обмениваются сообщениями, координируют действия и выполняют распределённые задачи. [[Вики/inference\|Тестирование]] таких систем сложнее, чем…
wikibootstrap
…Как тестировать агентов на недетерминированность|785. Как тестировать агентов на недетерминированность]] - [[801. Как делать AB тестирование промптов в production|801…
wikiрегистрация промптов
…Как интегрировать тестирование агентов в CICD|799. Как интегрировать тестирование агентов в CICD]] - [[800. Что такое Prompt Registry (каталог промптов…
answerКак вы A/B тестируете агентов в production?
…A/B тестирование агентов [[Вики/AB testing\|A/B тестирование]] ([[Вики/AB testing\|сплит-тестирование]]) — метод сравнения двух версий системы…
answerЧто такое «regression testing» для агентов (старый кейс сломался)?
…Regression testing (регрессионное тестирование) в контексте агентов [[Вики/регрессионное тестирование\|Regression testing]] — это перезапуск всех существующих тестов после каждого изменения…
practiceТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать consensus механизм для агентов (Weighted Voting)
…Асинхронное выполнение | asyncio, asyncio.Queue | Взаимодействие агентов | | Логирование | logging / structlog | Отслеживание процесса голосования | | Тестирование | pytest | Проверка сценариев консенсуса | | Документация | Markdown…
wikitest generation
# test generation ## Определение Автоматическая генерация тестовых запросов и сценариев для проверки агентов с помощью LLM или шаблонов, позволяющая масштабировать тестирование…
wikiрандомизация
…Как вы делаете AB тестирование двух моделей в production|76. Как вы делаете AB тестирование двух моделей в production]] - [[247…
wikiShadow mode
…Как вы AB тестируете агентов в production|179. Как вы AB тестируете агентов в production]] - [[243. Как вы делаете blue…
wikiloguru
# loguru ## Определение Библиотека для структурированного логирования в Python, позволяющая записывать запросы/ответы LLM, шаги агентов и метрики в JSON-формате…