exllamav2

Определение

Inference-фреймворк с поддержкой квантизации AWQ, обеспечивающий высокую производительность.

Где встречается

• 210. Сравнить GPTQ vs AWQ на reasoning задачах

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление