Human annotator
Human annotator
Определение
Human annotator (человек-аннотатор) — это специалист, который вручную размечает данные для обучения моделей машинного обучения. В контексте preference датасетов human annotator оценивает качество ответов или решений, сравнивая их и выставляя предпочтения. Использование human annotator обеспечивает высокое качество разметки, но требует значительных временных и финансовых затрат по сравнению с автоматическими методами, такими как LLM-as-a-judge.