English translation is not available yet. Showing Russian content.
dequantization
dequantization
Определение
Операция преобразования низкоточных чисел (например, INT4) обратно в формат с плавающей точкой (FP16) перед выполнением матричных умножений, что создаёт дополнительную вычислительную нагрузку.