Goldenset
Goldenset
Определение
Набор эталонных примеров с известными метками (ground truth), используемый для оценки качества аннотаторов, регрессионного тестирования и валидации.
Где встречается
- 5. Как вы оцениваете качество retrieval'а в RAG-системе
- 6. Что такое гибридный поиск и когда он нужен
- 261. Как вы управляете качеством разметки (label quality) для DPO датасетов
- 272. Как вы проверяете качество parsing документов (PDF, DOCX) в production
- 275. Как вы делаете data quality monitoring для RAG корпуса
- 503. Как вы измеряете drift retrieval-качества в RAG (когда документы меняются)
- 527. Как вы проверяете качество парсинга документов (PDF, DOCX) в production
- 587. Как работает agent with external tool verification (проверка результатов API)
- 687. Как вы делаете synthetic eval (генерация тестовых вопросов по документам)
- 786. Что такое «golden dataset» для агента и как его создавать
- 792. Что такое «regression testing» для агентов (старый кейс сломался)
- 797. Как тестировать промпты (prompt regression testing)
- 799. Как интегрировать тестирование агентов в CICD
- 880. Как проектировать golden dataset для agent evaluation
- Практика
- 800+ вопросов
- 42. Настроить hybrid search с весами
- 43. Реализовать RRF (Reciprocal Rank Fusion)
- 44. Настроить query expansion
- 84. Реализовать conversational repair
- 97. Настроить retrieval quality dashboard
- 110. Реализовать quality gates для агента
- 146. Реализовать golden dataset для агента
- 149. Настроить regression test suite
- 212. Настроить chunked prefill для long context
- 299. RAG с мультиязычным поиском (русскийанглийскийкитайский)