KL divergence
KL divergence
Определение
Мера различия между двумя вероятностными распределениями. Используется в RLHF для штрафа за отклонение от референсной модели и в дистилляции для минимизации расхождения распределений.
Где встречается
- 74. Как вы мониторите дрейф данных (data drift) для RAG
- 138. Что такое «оценка с подкреплением» (RLHF evaluation) и как она отличается от обычной
- 158. Что такое EAGLE-3 и чем он отличается от стандартного speculative decoding
- 160. Что такое Variational Speculative Decoding (VSD) и чем он революционен
- 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
- 260. Как вы отслеживаете data drift для распределения запросов к RAG
- 326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически
- 332. Как работает KL penalty в RLHF и как подобрать коэффициент
- 335. Как работает Direct Preference Optimization (DPO) в деталях (потеря, градиенты)
- 344. Что такое reward hacking в RLHF и как его детектировать
- 351. Как работает model stealing attack и как защититься
- 596. Как работает model stealing attack (экстракция модели через API)
- 657. Что такое KL divergence и где она применяется в LLM (RLHF, distillation)
- 748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)
- 873. Как детектировать reward hacking в RLHF
- 800+ вопросов
- 47. Реализовать query drift детекцию
- 91. Написать postmortem для retrieval degradation