Task-specific distillation
Task-specific distillation
Определение
Task-specific distillation (дистилляция для конкретной задачи) — метод, при котором модель-студент дообучается на датасете, содержащем ответы модели-учителя для одной целевой задачи, например суммаризации или вопросно-ответной системы. Это позволяет достичь 95–98% качества учителя при значительно меньшем размере модели и ускорить инференс.