Flaky test
Flaky test
Определение
Тест, который недетерминированно проходит или падает из-за стохастичности LLM; борьба — запуск 3 раз и медиана метрики.
Где встречается
- 505. Как вы проверяете, что новая версия модели не сломала старые кейсы
- 769. Как тестировать delegation paths (интеграционное тестирование multi-agent)