Group-wise quantization

Определение

Техника квантования, при которой веса модели разбиваются на группы (например, по 32 или 64 элемента), и для каждой группы вычисляется свой масштабный коэффициент для уменьшения ошибки квантования.

Где встречается

• 162. Что такое Quasar и как quantized verification ускоряет инференс
• 444. Почему 4-bit inference иногда медленнее 8-bit

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление