Log loss
Log loss
Определение
Log loss (логарифмическая потеря), также известная как binary cross-entropy, — это функция потерь, используемая в задачах бинарной классификации и обучения с предпочтениями. В контексте обучения Reward Model с моделью Брэдли-Терри она минимизируется для правильного упорядочивания пар ответов: L = -log(σ(r_chosen – r_rejected)). Эта потеря штрафует модель за неправильный порядок предпочтений, но не за величину разности reward, что позволяет модели сосредоточиться на ранжировании, а не на абсолютных значениях.