Teacher model
Teacher model
Определение
Teacher model (модель-учитель) — это большая, предобученная нейросеть, используемая в процессе дистилляции знаний. Она служит источником «мягких» целевых распределений (логитов) или скрытых представлений, которые компактная модель-студент пытается имитировать. Teacher model обычно обладает высокой точностью, но требует значительных вычислительных ресурсов, поэтому её знания переносятся на более лёгкую модель.