Post-training quantization
Post-training quantization
Определение
Метод квантизации модели после завершения обучения без дополнительного fine-tuning; включает GPTQ, AWQ и выполняется на калибровочных данных.
Где встречается
- 162. Что такое Quasar и как quantized verification ускоряет инференс
- 443. GGUF vs GPTQ vs AWQ сравнение форматов квантизации для инференса.
- 666. Что такое FP16, BF16, FP8, INT8 quantization Когда что использовать
- 847. Как сравнивать quantization методы (GPTQ, AWQ, GGUF, bitsandbytes)
- 209. Настроить AWQ quantization для LLM