Temperature (distillation)
Temperature (distillation)
Определение
Temperature (часто обозначается τ или t) — гиперпараметр в процессе дистилляции знаний (knowledge distillation). Он управляет «мягкостью» распределения вероятностей, выдаваемого моделью-учителем: высокая температура (например, τ=4…10) делает распределение более равномерным, уменьшая пики и заставляя модель-студента учитывать слабые альтернативы. Низкая температура (τ≈1) сохраняет исходное распределение, фокусируя обучение на наиболее вероятных классах.