AutoGPTQForCausalLM

Определение

Класс Hugging Face для загрузки квантизированных моделей в формате AWQ, используемый для эффективного инференса.

Где встречается

• 209. Настроить AWQ quantization для LLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление