Win rate

Определение

Метрика, показывающая долю случаев, когда ответ модели предпочтительнее baseline-версии. Используется в pairwise сравнении и оценке качества RLHF/DPO моделей.

Где встречается

• 261. Как вы управляете качеством разметки (label quality) для DPO датасетов
• 331. Как вы измеряете quality RLHF модели вне стандартных бенчмарков (MT-Bench)
• 382. Как вы проектируете canary deployment для LLM модели
• 871. Как делать pairwise ranking для сравнения моделей
• 800+ вопросов
• 223. Fine-tune LoRA для стиля

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление