Pure distillation
Pure distillation
Определение
Pure distillation (дистилляция только на soft labels) — это метод дистилляции знаний, при котором студент обучается исключительно на мягких метках (вероятностных распределениях) от учителя, используя KL-дивергенцию. В отличие от стандартной дистилляции, здесь не используются истинные метки (hard labels), что позволяет студенту точнее аппроксимировать распределение учителя.