Context relevance
Context relevance
Определение
Метрика, оценивающая насколько извлечённые документы релевантны запросу; включает MRR, Recall@k, Hit Rate.
Где встречается
- 5. Как вы оцениваете качество retrieval'а в RAG-системе
- 16. Как вы оцениваете качество генерации в RAG. Назовите 3 ключевые метрики.
- 62. Какие метрики вы мониторите для LLM в production
- 106. Как вы валидируете, что DSPy-оптимизация действительно улучшила модель, а не просто переобучилась под метрику
- 109. Как вы бенчмарките DSPy против ручного промпт-инжиниринга в production
- 140. Как вы проверяете, что новая версия модели не сломала старые кейсы
- 383. Что такое error budget для AI качества и как его считать
- 385. Как вы автоматизируете rollback при деградации качества
- 388. Что такое SLI (Service Level Indicators) для AI системы и как их собирать
- 687. Как вы делаете synthetic eval (генерация тестовых вопросов по документам)
- 748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)
- 807. Что такое «prompt observability» (мониторинг эффективности промптов в production)
- 878. Как измерять faithfulness для long-form ответов (1000+ токенов)
- 800+ вопросов