consistency
consistency
Определение
Свойство системы давать одинаковые или семантически эквивалентные ответы на одинаковые запросы при повторных измерениях.
Где встречается
- 9. Как вы обновляете документы в существующей RAG-системе
- 51. Как вы передаёте контекст между несколькими агентами (multi-agent system)
- 80. Какие 3 книгикурса вы рекомендуете по production LLM
- 87. Как вы обеспечиваете, чтобы ответы LLM были консистентными для одинаковых вопросов
- 176. Какие инструменты для агентской эвалюации вы используете
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 349. Как вы проводите AB тест метрик качества (не бизнес-метрик)
- 498. Что такое meta-evaluation бенчмарков (оценка оценки)
- 530. Как вы делаете data quality monitoring для RAG корпуса
- 753. Что такое Coordination Engineering и чем он отличается от Harness Engineering
- 785. Как тестировать агентов на недетерминированность
- 787. Как делать property-based testing для агентов
- 789. Как тестировать multi-turn диалоги агента
- Практика
- 800+ вопросов
- 123. Реализовать rollback delegation
- 151. Настроить trajectory coverage
- 154. Протестировать multi-turn диалоги
- 156. Настроить prompt regression suite
- 160. Написать test plan для агента
- 220. Настроить wave decoding для коротких ответов