Калибровка модели
Калибровка модели
Определение
Калибровка модели — это процесс настройки предсказаний вероятностей так, чтобы они соответствовали истинным частотам событий. В контексте Reinforcement Learning from Human Feedback (RLHF) калибровка Reward Model критически важна для стабильности обучения PPO и качества итоговой политики. Хорошо откалиброванная модель выдает оценки вознаграждения, которые согласуются с человеческими предпочтениями и не приводят к расходимости обучения.