Crowd-sourced meta-evaluation
Crowd-sourced meta-evaluation
Определение
Crowd-sourced meta-evaluation — это метод оценки качества ответов и моделей ИИ, при котором мета-оценка (оценка оценок) проводится с привлечением краудсорсинга. Вместо использования только экспертов-людей или автоматических метрик, оценку (например, предпочтение одного ответа другому) выполняет большая группа разнородных асессоров. Этот подход часто применяется в контексте RLAIF (Reinforcement Learning from AI Feedback) для масштабирования сбора обратной связи: вместо дорогостоящих человеческих оценок используется «толпа» AI-асессоров, что позволяет получить более дешевые и быстрые мета-оценки, хотя их качество может варьироваться.