Offline distillation
Offline distillation
Определение
Offline distillation — метод дистилляции знаний, при котором логиты (выходные распределения) модели-учителя (teacher) предвычисляются один раз и сохраняются для последующего обучения модели-студента (student). Это позволяет избежать повторного прогона teacher на каждом шаге обучения, что значительно ускоряет процесс и снижает вычислительные затраты, особенно при большом размере teacher.