dequantization

Определение

Операция преобразования низкоточных чисел (например, INT4) обратно в формат с плавающей точкой (FP16) перед выполнением матричных умножений, что создаёт дополнительную вычислительную нагрузку.

Где встречается

• 444. Почему 4-bit inference иногда медленнее 8-bit
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление