Reverse KL divergence
Reverse KL divergence
Определение
Reverse KL divergence — это вариант расхождения Кульбака-Лейблера, в котором усреднение производится по распределению студента $p_S$: $KL(p_S || p_T)$. В отличие от forward KL, reverse KL штрафует модель за присвоение вероятности там, где учитель $p_T$ имеет низкую уверенность, что делает её более осторожной в предсказаниях. В дистилляции знаний reverse KL часто применяется, когда учитель сильно уверен в своих выводах, чтобы стабилизировать обучение студента.