HQQ

Определение

Метод квантизации моделей, не требующий калибровочных данных и обеспечивающий качество, сопоставимое с AWQ, при снижении вычислительных затрат.

Где встречается

• 443. GGUF vs GPTQ vs AWQ сравнение форматов квантизации для инференса.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление