Success rate
Success rate
Определение
Метрика, измеряющая долю задач, выполненных агентом полностью корректно в рамках заданного бюджета. Является ключевой end-to-end метрикой для оценки агентов.
Где встречается
- 53. Как вы проектируете промпт для агента с инструментами
- 165. Как тест-тайм компьютинг меняет MLOps
- 189. Как вы проектируете language representation для сложной задачи
- 192. Как вы оцениваете качество language representation для задачи
- 355. Как вы защищаете LLM от градиентных атак (white-box jailbreak)
- 384. Как вы проводим chaos engineering для RAG системы
- 393. Как вы измеряете «cost of reasoning» у агента (не только токены, но и шаги, время, ошибки)
- 399. Как вы делаете AB тест между двумя агентами с разными архитектурами (ReAct vs Plan-and-Execute)
- 502. Как вы AB тестируете две версии промпта в production
- 575. Как работает hierarchical planning для агентов (разбивка на подзадачи)
- 579. Как работает agent replay для улучшения качества (анализ failed траекторий)
- 584. Что такое agent distillation (обучение маленького агента на траекториях большого)
- 743. Какие есть типичные failure modes в harness-engineering (over-decomposition, over-pruning)
- 790. Что такое «canary testing» для агентов (10% трафика на новую версию)
- 800+ вопросов
- 130. Написать postmortem для неудачного делегирования