Model distillation
Model distillation
Определение
Model distillation (дистилляция модели) — это техника сжатия, при которой компактная модель-студент обучается воспроизводить поведение более крупной модели-учителя. Она переносит знания через мягкие метки (probabilities) или внутренние представления, позволяя достичь близкой точности при значительно меньших вычислительных затратах. В NLP дистилляцию применяют для развертывания тяжёлых моделей в продакшене, особенно когда полный fine-tuning не окупается (например, при длительном сроке окупаемости).