Krippendorff's Alpha
Krippendorff's Alpha
Определение
Универсальная метрика межэкспертного согласия (IRR), работающая для любых типов данных и учитывающая пропуски; применяется при оценке качества разметки в RLHF.
Где встречается
- 261. Как вы управляете качеством разметки (label quality) для DPO датасетов
- 326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически
- 492. Как вы измеряете inter-rater reliability для human evaluation
- 800+ вопросов