English translation is not available yet. Showing Russian content.
Group size
Group size
Определение
Параметр группового квантования весов, определяющий количество элементов в группе (например, 128 или 32). Влияет на баланс между размером модели, скоростью инференса и точностью.
Где встречается
- 443. GGUF vs GPTQ vs AWQ сравнение форматов квантизации для инференса.
- 444. Почему 4-bit inference иногда медленнее 8-bit
- 209. Настроить AWQ quantization для LLM