ExLlama

Определение

Библиотека для быстрого инференса GPTQ-моделей на GPU, использующая оптимизированные ядра.

Где встречается

• 443. GGUF vs GPTQ vs AWQ сравнение форматов квантизации для инференса.

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление