pytest
pytest
Определение
Фреймворк для модульного тестирования в Python, широко применяемый для проверки корректности агентов, парсинга и метрик.
Где встречается
- 50. Как вы ограничиваете бесконечный цикл агента
- 65. Как вы обрабатываете rate limiting от LLM провайдеров (OpenAI, Anthropic)
- 89. Как вы спроектируете систему, которая может переключаться между разными LLM провайдерами без даунтайма
- 140. Как вы проверяете, что новая версия модели не сломала старые кейсы
- 272. Как вы проверяете качество parsing документов (PDF, DOCX) в production
- 738. Назовите 12+ слоёв эталонной архитектуры Harness.
- 785. Как тестировать агентов на недетерминированность
- 789. Как тестировать multi-turn диалоги агента
- 792. Что такое «regression testing» для агентов (старый кейс сломался)
- 797. Как тестировать промпты (prompt regression testing)
- 799. Как интегрировать тестирование агентов в CICD
- 29. Реализовать автоматический postmortem
- 35. Реализовать cache stampede защиту
- 37. Реализовать sharded cache на 10+ нод
- 101. Реализовать Agent Loop с нуля
- 102. Настроить Guardrails на NeMo
- 104. Реализовать Session Management с TTL
- 106. Реализовать Tool System с JSON Schema
- 108. Реализовать partial harnessing
- 111. Настроить drift detection для агента
- 113. Собрать agentic mesh из 3 агентов
- 116. Реализовать иерархическое делегирование
- 117. Настроить эскалацию человеку
- 118. Реализовать fallback-цепь (Агент А → Агент Б → человек)
- 123. Реализовать rollback delegation
- 124. Настроить SLA между агентами
- 125. Реализовать market-based делегирование
- 127. Реализовать outsourcing другому LLM
- 134. Настроить token budget для агента
- 148. Реализовать simulation testing
- 149. Настроить regression test suite
- 151. Настроить trajectory coverage
- 152. Реализовать test generation для агента
- 153. Настроить chaos testing
- 156. Настроить prompt regression suite
- 157. Интегрировать тестирование в CICD
- 160. Написать test plan для агента
- 161. Развернуть Prompt Registry
- 165. Реализовать prompt linting
- 167. Реализовать dependency management промптов