Human evaluation
Human evaluation
Определение
Оценка качества результатов модели с привлечением людей-экспертов. Рекомендуется для критичных кейсов и является эталоном для проверки корреляции с автоматическими метриками.
Где встречается
- 25. Как вы оцениваете качество после fine-tuning
- 509. Как вы сравниваете две модели, если у них разная latency (быстрая неточная vs медленная точная)
- 523. Как вы делаете synthetic data generation для редких классов в датасете
- 578. Что такое agent evaluation метрика successful task completion rate vs step efficiency
- 700. Как вы комбинируете реальные и синтетические данные для максимального качества
- 800+ вопросов