AutoAWQ

Определение

Библиотека для 4-битной квантизации моделей с использованием метода AWQ для уменьшения размера и ускорения инференса.

Где встречается

• 210. Сравнить GPTQ vs AWQ на reasoning задачах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление