Unpacking

Определение

Процесс извлечения 4-битных значений из упакованного 32-битного слова при работе с квантованными моделями. Может замедлять инференс по сравнению с 8-битным квантованием из-за дополнительных операций распаковки.

Где встречается

• 444. Почему 4-bit inference иногда медленнее 8-bit

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление