KL divergence

Определение

Мера различия между двумя вероятностными распределениями. Используется в RLHF для штрафа за отклонение от референсной модели и в дистилляции для минимизации расхождения распределений.

Где встречается

• 74. Как вы мониторите дрейф данных (data drift) для RAG
• 138. Что такое «оценка с подкреплением» (RLHF evaluation) и как она отличается от обычной
• 158. Что такое EAGLE-3 и чем он отличается от стандартного speculative decoding
• 160. Что такое Variational Speculative Decoding (VSD) и чем он революционен
• 178. Чем отличается эвалюация LLM от эвалюации традиционных ML моделей
• 260. Как вы отслеживаете data drift для распределения запросов к RAG
• 326. Как работает RLHF (Reinforcement Learning from Human Feedback) технически
• 332. Как работает KL penalty в RLHF и как подобрать коэффициент
• 335. Как работает Direct Preference Optimization (DPO) в деталях (потеря, градиенты)
• 344. Что такое reward hacking в RLHF и как его детектировать
• 351. Как работает model stealing attack и как защититься
• 596. Как работает model stealing attack (экстракция модели через API)
• 657. Что такое KL divergence и где она применяется в LLM (RLHF, distillation)
• 748. Как в Harness Engineering реализована эвалюация и дрейф (evaluation & drift)
• 873. Как детектировать reward hacking в RLHF
• 800+ вопросов
• 47. Реализовать query drift детекцию
• 91. Написать postmortem для retrieval degradation

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление