Weighted Kappa
Weighted Kappa
Определение
Версия Cohen's Kappa для порядковых шкал, учитывающая степень расхождений между оценками. Используется как метрика согласия (inter-rater reliability) и при калибровке LLM-as-Judge.
Где встречается
- 492. Как вы измеряете inter-rater reliability для human evaluation
- 277. Реализовать LLM-as-Judge с калибровкой