Pairwise comparison
Pairwise comparison
Определение
Метод сбора предпочтений, при котором аннотатор выбирает лучший из двух вариантов; основной механизм RLHF, снижающий субъективность по сравнению с абсолютными шкалами.
Где встречается
- 25. Как вы оцениваете качество после fine-tuning
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически
- 486. Почему LLM-as-Judge может быть biased Назовите 3 основных bias и как их детектировать.
- 495. Что такое pairwise comparison vs scalar rating Когда что использовать
- 871. Как делать pairwise ranking для сравнения моделей
- Практика
- 800+ вопросов
- 223. Fine-tune LoRA для стиля
- 284. Настроить pairwise evaluation для моделей