Binary Cross-Entropy

Определение

Binary Cross-Entropy (BCE) — функция потерь для задач бинарной классификации, измеряющая разницу между предсказанной вероятностью и истинной меткой (0 или 1). В контексте RLHF используется для обучения модели вознаграждения (Reward Model), где на основе парных сравнений предсказывается, какой из двух ответов предпочтительнее. Минимизация BCE эквивалентна максимизации логарифмического правдоподобия.

Где встречается

• 981. RLHF (SFT, Reward Model, RL)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление