Поиск

• wikiSimulation testing

  # Simulation testing ## Определение Метод тестирования AI-агентов в контролируемой симулированной среде с подменой внешних взаимодействий. ## Где встречается - [[788. Что такое…

• wikiStateful testing

  # Stateful testing ## Определение Техника property-based testing для агентов с внутренним состоянием, использующая автоматные модели для проверки корректности переходов. ## Где…

• wikiContract testing

  # Contract testing ## Определение Метод тестирования, при котором потребитель описывает ожидаемый контракт данных (например, JSON-схему), а поставщик должен ему соответствовать…

• wikimetrics-driven testing

  # metrics-driven testing ## Определение Подход к тестированию, основанный на проверке значений счётчиков метрик для оценки корректности поведения системы. ## Где встречается…

• wikifault injection

  …Реализовать simulation testing|148. Реализовать simulation testing]] - [[153. Настроить chaos testing|153. Настроить chaos testing]] - [[183. Реализовать circuit breaker на…

• wikiPrompt Regression Testing

  # Prompt Regression Testing ## Определение Метод проверки, что изменение промпта не ухудшает качество ответов на ранее протестированные сценарии. ## Где встречается - [[797…

• wikiproperty-based testing

  # property-based testing ## Определение Метод тестирования, проверяющий инвариантные свойства системы вместо конкретных ответов, часто используется для агентов и генерации случайных…

• wikiautomated testing

  # automated testing ## Определение Автоматические тесты для проверки качества агентов или моделей, включая property-based testing. ## Где встречается - [[Практика|Практика]] ## Навигация…

• wikitool testing

  # tool testing ## Определение Изолированное тестирование каждого инструмента агента для проверки корректности его работы без влияния других компонентов. ## Где встречается - [[Практика…

• wikiChaos Toolkit

  …Реализовать simulation testing|148. Реализовать simulation testing]] - [[153. Настроить chaos testing|153. Настроить chaos testing]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikiUsability testing

  # Usability testing ## Определение Метод оценки пользовательского интерфейса, при котором реальные пользователи выполняют сценарии, чтобы выявить проблемы восприятия и понять, правильно…

• wikiPenetration Testing

  # Penetration Testing ## Определение Метод оценки безопасности, при котором имитируются атаки для выявления уязвимостей, включая тестирование изоляции между клиентами в multi…

• wikiMultiple Testing

  # Multiple Testing ## Определение Проверка нескольких статистических гипотез одновременно, что увеличивает риск ложноположительных результатов. ## Где встречается - [[342. Что такое statistical power…

• wikiWireMock

  …Что такое «simulation testing» (тестирование в симулированной среде)|788. Что такое «simulation testing» (тестирование в симулированной среде)]] - [[799. Как интегрировать…

• wikiMock API

  …Что такое «simulation testing» (тестирование в симулированной среде)|788. Что такое «simulation testing» (тестирование в симулированной среде)]] - [[Практика|Практика]] - [[800…

• wikiLoad testing

  # Load testing ## Определение Нагрузочное тестирование LLM endpoint для оценки производительности, латентности и стабильности под реальной нагрузкой. Часто выполняется с помощью…

• wikiDeterministic testing

  # Deterministic testing ## Определение Метод тестирования, при котором проверки дают однозначный результат, используются для unit-тестов агентов. ## Где встречается - [[800+ вопросов…

• wikisequential testing

  # sequential testing ## Определение Метод A/B-тестирования, позволяющий останавливать эксперимент при достижении статистической значимости без увеличения ошибки I рода. Исключает…

• wikiFlakiness

  # Flakiness ## Определение Проблема невоспроизводимых ошибок в property-based testing, решаемая фиксацией seed. ## Где встречается - [[787. Как делать property-based testing…

• wikiresponses

  …Что такое «simulation testing» (тестирование в симулированной среде)|788. Что такое «simulation testing» (тестирование в симулированной среде)]] - [[799. Как интегрировать…

• wikiEnd-to-end testing

  # End-to-end testing ## Определение Процесс запуска E2E тестов для проверки полного цикла; учитывает стохастичность (многократный запуск). ## Где встречается - [[800…

• wikicoverage-guided testing

  # coverage-guided testing ## Определение Метод тестирования, генерирующий запросы для покрытия редких путей выполнения программы, что помогает выявлять скрытые ошибки. ## Где…

• wikiInvariant

  # Invariant ## Определение Условие, которое должно выполняться для всех входных данных при property-based testing агентов. ## Где встречается - [[787. Как делать…

• wikiPrompt testing strategies

  # Prompt testing strategies ## Определение Подходы к тестированию корректности и устойчивости промптов, включая регрессионное и A/B-тестирование. ## Где встречается - [[167…

• wikiRefusal testing

  # Refusal testing ## Определение Тесты, проверяющие, что модель корректно отклоняет запросы, выходящие за рамки дозволенного, и не галлюцинирует. ## Где встречается - [[798…

• wikiBehavioral testing

  # Behavioral testing ## Определение Подход к тестированию VLM с использованием минимальных пар (изображение, подпись) для выявления систематических ошибок и пропущенных деталей…

• wikibinomial testing

  # binomial testing ## Определение Статистический тест для проверки гипотезы о доле успехов. В контексте оценки качества модели используется для определения, в…

• wikiMultiple Testing Correction

  # Multiple Testing Correction ## Определение Корректировка уровня значимости (α) при множественном тестировании для контроля вероятности ложных открытий. ## Где встречается - [[491. Что…

• wikipytest-cov

  # pytest-cov ## Определение Плагин pytest для измерения покрытия кода тестами, применяемый в property-based testing и оценке полноты тестирования. ## Где…

• wikiShadow testing

  # Shadow testing ## Определение Техника MLOps, при которой новый промпт применяется ко всем запросам, но пользователю возвращается ответ от старой версии…

• wikistructlog

  …Реализовать simulation testing|148. Реализовать simulation testing]] - [[153. Настроить chaos testing|153. Настроить chaos testing]] - [[163. Реализовать AB тестирование промптов…

• wikiMonotonicity

  …Как делать property-based testing для агентов|787. Как делать property-based testing для агентов]] - [[800+ вопросов|800+ вопросов]] ## Навигация…

• wikihttpx

  …Реализовать chaos testing для агента|98. Реализовать chaos testing для агента]] - [[124. Настроить SLA между агентами|124. Настроить SLA между…

• wikiIntegration testing

  # Integration testing ## Определение Метод проверки совместной работы компонентов системы (агентов, инструментов) с использованием моков или реальных вызовов для выявления ошибок…

• wikismoke tests

  …Что такое «regression testing» для агентов (старый кейс сломался)|792. Что такое «regression testing» для агентов (старый кейс сломался)]] - [[Практика…

• wikiaioresponses

  …Реализовать simulation testing|148. Реализовать simulation testing]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikipytest-httpx

  …Реализовать simulation testing|148. Реализовать simulation testing]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikiChaosProxy

  …Настроить chaos testing|153. Настроить chaos testing]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikiin-process mock

  …Реализовать simulation testing|148. Реализовать simulation testing]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikirespx

  …Реализовать simulation testing|148. Реализовать simulation testing]] ## Навигация - [[00. Индекс терминов|Индекс терминов]] - [[00. Индекс разборов|Индекс разборов]] - [[Оглавление|Оглавление]]

• wikiPhantom

  …Как делать property-based testing для агентов|787. Как делать property-based testing для агентов]] ## Навигация - [[00. Индекс терминов|Индекс…

• wikideterminism rate

  …Что такое «simulation testing» (тестирование в симулированной среде)|788. Что такое «simulation testing» (тестирование в симулированной среде)]] ## Навигация - [[00. Индекс…

• wikiSageMaker

  …Что такое «canary testing» для агентов (10% трафика на новую версию)|790. Что такое «canary testing» для агентов (10% трафика…

• wikiMoto

  …Что такое «simulation testing» (тестирование в симулированной среде)|788. Что такое «simulation testing» (тестирование в симулированной среде)]] ## Навигация - [[00. Индекс…

• wikiSplit

  …Что такое «canary testing» для агентов (10% трафика на новую версию)|790. Что такое «canary testing» для агентов (10% трафика…

• wikiVCR.py

  …Что такое «simulation testing» (тестирование в симулированной среде)|788. Что такое «simulation testing» (тестирование в симулированной среде)]] ## Навигация - [[00. Индекс…

• answerЧто такое «simulation testing» (тестирование в симулированной среде)?

  …Что такое «simulation testing» (тестирование в симулированной среде)? ## Краткий тезис [[Вики/Simulation testing\|Simulation testing]] — это метод тестирования AI-агентов…

• wikipytest-timeout

  …Реализовать simulation testing|148. Реализовать simulation testing]] - [[152. Реализовать test generation для агента|152. Реализовать test generation для агента]] ## Навигация…

• wikipytest

  …Что такое «regression testing» для агентов (старый кейс сломался)|792. Что такое «regression testing» для агентов (старый кейс сломался)]] - [[797…

• wikistub database

  …Что такое «simulation testing» (тестирование в симулированной среде)|788. Что такое «simulation testing» (тестирование в симулированной среде)]] ## Навигация - [[00. Индекс…