Preference data
Preference data
Определение
Preference data (данные предпочтений) — это набор пар или ранжированных списков ответов, где один ответ считается предпочтительнее другого с точки зрения человека или автоматической системы. Такие данные используются в обучении с подкреплением на основе обратной связи от человека (RLHF) для настройки языковых моделей. Preference data может быть собрана как с участием человека (например, A/B сравнение), так и автоматически, например, с помощью конституционного ИИ (Constitutional AI).