Dequantization overhead

Определение

Дополнительные вычислительные затраты, возникающие при деквантовании тензоров во время инференса, особенно заметные при малых размерах батча.

Где встречается

• 444. Почему 4-bit inference иногда медленнее 8-bit

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление