Online distillation
Online distillation
Определение
Online distillation — метод дистилляции знаний, при котором teacher и student модели обучаются одновременно на одних и тех же батчах данных. В отличие от offline-дистилляции, где teacher предобучен и фиксирован, здесь teacher также обновляется, что позволяет student быстрее адаптироваться и улучшать качество. Этот подход особенно полезен, когда teacher модель большая, но может дообучаться совместно с student.