Distillation
aliases: [""] tags: [wiki, термин, general]
Distillation
Определение
Distillation (дистилляция) — это техника сжатия моделей машинного обучения, при которой меньшая модель-студент обучается воспроизводить выходы (логиты или распределения вероятностей) большой модели-учителя. Это позволяет перенести знания из сложной модели в более простую, сохраняя высокое качество предсказаний при меньших вычислительных затратах. В контексте больших языковых моделей (LLM) дистилляция часто применяется для создания компактных версий мощных моделей, пригодных для развертывания на устройствах с ограниченными ресурсами.