Градиент
Градиент
Определение
Градиент — вектор частных производных функции потерь по параметрам модели, указывающий направление наискорейшего возрастания функции. В машинном обучении для минимизации ошибки параметры обновляются в противоположном направлении (градиентный шаг). В контексте обучения Reward Model с Bradley-Terry loss градиент по параметрам вычисляется как ∂L/∂θ = -(1 – σ(r_chosen – r_rejected)) * (∂r_chosen/∂θ – ∂r_rejected/∂θ), где σ — сигмоидная функция; при уверенной модели градиент мал, при ошибке — велик.