Group-wise quantization
Group-wise quantization
Определение
Техника квантования, при которой веса модели разбиваются на группы (например, по 32 или 64 элемента), и для каждой группы вычисляется свой масштабный коэффициент для уменьшения ошибки квантования.
Где встречается
- 162. Что такое Quasar и как quantized verification ускоряет инференс
- 444. Почему 4-bit inference иногда медленнее 8-bit