Salient weights

Определение

В контексте квантизации AWQ — около 1% весов с наибольшим влиянием на активации, которые сохраняются в FP16 для сохранения точности.

Где встречается

• 443. GGUF vs GPTQ vs AWQ сравнение форматов квантизации для инференса.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление