Crowdsourcing
Crowdsourcing
Определение
Краудсорсинг — это модель привлечения внешних исполнителей (толпы) для выполнения задач, которые сложно или дорого автоматизировать. В контексте AI/ML краудсорсинг часто используется для сбора и разметки данных, включая preference data для обучения моделей с подкреплением (RLHF). Платформы вроде Amazon MTurk, Toloka и Prolific позволяют быстро нанимать большое количество аннотаторов для оценки качества ответов, ранжирования или A/B-сравнения.