Knowledge Portal

aivaro.ru

  • Оглавление
  • Вопросы
  • Практика
  • Вики
  • Тесты
  • Поиск
✈Telegram @AetSeidhe
RUEN中文
…
Оглавление/Вики/annotator

annotator

annotator

Определение

Человек, создающий эталонные размеченные данные (например, траектории для golden dataset).

Где встречается

  • 146. Реализовать golden dataset для агента

Навигация

  • Индекс терминов
  • Индекс разборов
  • Оглавление

Теги

wikiтерминdata

Ссылки

  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать golden dataset для агента

Обратные ссылки (9)

  • Индекс терминов
  • Как вы делаете synthetic eval (генерация тестовых вопросов по документам)?
  • Как вы управляете качеством разметки (label quality) для DPO датасетов?
  • Как вы управляете качеством разметки (label quality) для DPO датасетов?
  • Как делать pairwise ranking для сравнения моделей?
  • Как проектировать golden dataset для agent evaluation?
  • ТЕХНИЧЕСКОЕ ЗАДАНИЕ: Реализовать golden dataset для агента
  • Что такое preference data collection и как минимизировать bias в сравнениях?
  • Что такое «оценка с подкреплением» (RLHF evaluation) и как она отличается от обычной?