preference agreement

Определение

Метрика, измеряющая степень совпадения оценок модели с человеческими предпочтениями. Используется для оценки alignment без эталонных ответов.