Dequantization overhead

Определение

Дополнительные вычислительные затраты, возникающие при деквантовании тензоров во время инференса, особенно заметные при малых размерах батча.