Human_Agreement

Определение

Human agreement (согласованность с человеком) — итоговая проверка, показывающая, насколько решения reward model совпадают с решениями людей на том же наборе сравнений. Этот показатель используется для оценки качества модели вознаграждения и её способности имитировать человеческие предпочтения. Высокая согласованность свидетельствует о том, что reward model хорошо аппроксимирует человеческие суждения.

Где встречается

• 991. Как оценивать качество Reward Model (accuracy, calibration, ROC-AUC)?

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление