quantization-aware scaling
quantization-aware scaling
Определение
Техника подбора масштабирующих коэффициентов (scaling factors) для минимизации ошибки при квантизации, используемая в методе AWQ. Позволяет сохранить качество модели после приведения весов к низкой разрядности.