Как работает quantization-aware scaling в AWQ для защиты важных весов?

Краткий тезис

AWQ (Activation-aware Weight Quantization) — метод квантизации LLM, который анализирует важность весов по распределению активаций на калибровочном датасете. Ключевая идея quantization-aware scaling (масштабирование с учётом квантизации) — сохранить ~1% наиболее важных весов в FP16, а остальные квантизовать до 4 бит, подобрав для каждого канала масштабирующий коэффициент (scaling factor), минимизирующий ошибку квантизации. Это позволяет AWQ превосходить GPTQ по качеству на задачах рассуждения (reasoning) при том же битрейте.

1. Термин: Quantization-aware scaling (QAS) в AWQ

Quantization-aware scaling — это техника, при которой перед квантизацией веса каждого выходного канала умножаются на подобранный scaling factor, а затем активации соответствующего канала делятся на тот же factor (переносится в следующий слой или встраивается в bias). Цель — уменьшить ошибку квантизации для наиболее важных весов, не увеличивая битность всей модели. В AWQ scaling factor подбирается так, чтобы минимизировать среднеквадратичную ошибку (MSE) между выходом исходного и квантизованного слоя на калибровочном датасете.

AWQ (Activation-aware Weight Quantization) — метод, предложенный в 2023 году (Lin et al.), который использует информацию об активациях для определения важности весов. В отличие от GPTQ, где все веса квантизуются равномерно с последующей коррекцией, AWQ целенаправленно защищает небольшое подмножество весов, оставляя их в FP16, и адаптивно масштабирует остальные.

2. Зачем нужна квантизация LLM

Квантизация снижает точность представления весов (например, с 16 бит до 4 бит), уменьшая размер модели в 4 раза и ускоряя инференс на GPU за счёт меньшего объёма памяти и более быстрых операций INT4. Однако прямое округление весов приводит к потере качества, особенно на сложных задачах (reasoning, математика, код). AWQ решает эту проблему, сохраняя качество близким к FP16.

Таблица: примерные результаты для LLaMA-2-7B (данные из статьи AWQ).

3. Проблема: не все веса одинаково важны

В LLM некоторые веса влияют на выход гораздо сильнее других. Если случайно квантизовать такой «важный» вес, ошибка может катастрофически распространиться по сети. AWQ определяет важность веса по величине соответствующих активаций: если активации канала велики, то веса этого канала критичны для точности.

Почему активации Активации отражают, насколько сильно данный канал «возбуждается» на типичных данных. Каналы с большими активациями (outlier features) несут ключевую информацию; их веса нужно защищать.

4. Как AWQ определяет важность весов

AWQ использует калибровочный датасет (несколько сотен примеров из обучающих данных). Для каждого слоя:

1. Пропускаем калибровочные данные через модель в FP16.
2. Для каждого выходного канала собираем статистику активаций (например, среднее абсолютное значение).
3. Сортируем каналы по величине активаций.
4. Выбираем top-1% каналов как «важные» — их веса остаются в FP16.

Почему 1% Эмпирически этого достаточно, чтобы сохранить качество, при этом лишь незначительно увеличивая размер модели (1% весов в FP16 добавляет ~0.25% к общему размеру при 4-битной квантизации остальных).

5. Механизм quantization-aware scaling

После определения важных каналов AWQ не просто оставляет их в FP16, а применяет масштабирование ко всем весам слоя:

1. Для каждого выходного канала i подбирается scaling factor s_i (положительное число, обычно в диапазоне [0.5, 2.0]).
2. Веса канала умножаются на s_i: W_i' = W_i * s_i.
3. Активации, поступающие на этот канал, делятся на s_i (эквивалентно переносу масштаба в предыдущий слой или embedding).
4. После масштабирования все веса (кроме 1% важных) квантизуются стандартным методом (например, round-to-nearest с групповой нормализацией).

Зачем это нужно Масштабирование «сжимает» диапазон весов важных каналов, уменьшая относительную ошибку квантизации. Для неважных каналов масштабирование может быть меньше 1, что увеличивает их диапазон, но ошибка там менее критична.

6. Подбор scaling factor через минимизацию ошибки

Scaling factor s_i для каждого канала подбирается оптимизацией на калибровочном датасете:

s_i = argmin_s MSE( W_i * X_i , Q( W_i * s ) * (X_i / s) )

где:

• W_i — веса канала i в FP16,
• X_i — активации канала i (средние по калибровочному датасету),
• Q(·) — операция квантизации (например, округление до INT4 с групповым scaling),
• MSE — среднеквадратичная ошибка между выходом исходного слоя и квантизованного после масштабирования.

Поиск ведётся перебором по сетке значений (grid search) или градиентным спуском (в некоторых реализациях). Результат — для каждого канала свой s_i, который минимизирует потерю точности.

7. Сравнение AWQ с другими методами квантизации

AWQ особенно выигрывает на задачах, требующих точного следования инструкциям и многошаговых рассуждений (GSM8K, MATH, HumanEval).

8. Преимущества AWQ: качество на reasoning задачах

В бенчмарках (статья AWQ, 2023) 4-битный AWQ показывает:

• Perplexity на WikiText-2: 5.72 против 5.85 у GPTQ (LLaMA-2-7B).
• Accuracy на GSM8K (математика): 34.2% против 31.8% у GPTQ.
• Accuracy на MMLU: 63.0% против 62.1% у GPTQ.

Причина: защита 1% важных весов сохраняет способность модели к точным вычислениям и логическим выводам, которые критичны для reasoning.

9. Практические аспекты: как использовать AWQ

AWQ реализован в популярных библиотеках:

• AutoAWQ (от авторов метода) — простая интеграция с Hugging Face Transformers.
• vLLM — поддерживает AWQ для быстрого инференса.
• TGI (Text Generation Inference) от Hugging Face.

Пример кода (Python, с использованием AutoAWQ):

from awq import AutoAWQForCausalLM
from transformers import AutoTokenizer

model_path = "meta-llama/Llama-2-7b-hf"
quant_path = "llama-2-7b-awq-4bit"

# Загрузка модели и токенизатора
model = AutoAWQForCausalLM.from_pretrained(model_path)
tokenizer = AutoTokenizer.from_pretrained(model_path)

# Квантизация с AWQ
quant_config = { "zero_point": True, "q_group_size": 128, "w_bit": 4, "version": "GEMM" }
model.quantize(tokenizer, quant_config=quant_config)

# Сохранение квантизованной модели
model.save_quantized(quant_path)
tokenizer.save_pretrained(quant_path)

После квантизации модель можно загружать в 4-битном формате и использовать для инференса с минимальной потерей качества.

10. Ограничения и компромиссы

• Дополнительные вычисления: подбор scaling factor требует калибровочного датасета и оптимизации (несколько минут на 7B модель).
• Небольшой оверхед памяти: 1% весов в FP16 добавляет ~0.25% к размеру (пренебрежимо).
• Зависимость от калибровочного датасета: если датасет не репрезентативен, защита важных весов может быть неоптимальной.
• Не поддерживает все архитектуры: на момент написания AWQ оптимизирован для LLaMA, Mistral, Falcon; для других моделей может потребоваться адаптация.

Тем не менее, AWQ считается одним из лучших методов 4-битной квантизации для LLM, особенно когда важна точность на сложных задачах.

Пет-проект для закрепления

Задача: Квантизовать небольшую LLM (например, TinyLlama-1.1B или Phi-2) с помощью AWQ и сравнить её качество с GPTQ и FP16 на наборе reasoning-задач (GSM8K, MATH).

Инструменты: Python, AutoAWQ, GPTQ (через auto_gptq), Hugging Face Transformers, библиотека lm-evaluation-harness для бенчмарков.

Шаги:

1. Загрузить модель TinyLlama-1.1B в FP16.
2. Квантизовать её с AWQ (4 бита, group size 128) и сохранить.
3. Квантизовать ту же модель с GPTQ (4 бита, group size 128).
4. Оценить все три версии (FP16, AWQ, GPTQ) на датасете GSM8K (математические задачи) и MMLU (общие знания).
5. Сравнить метрики accuracy и perplexity на WikiText-2.
6. Замерить скорость инференса (токенов/сек) на GPU (например, T4 или RTX 3090).

Ожидаемый результат: AWQ покажет accuracy на 1-3% выше GPTQ на GSM8K, при почти одинаковой скорости инференса. Perplexity AWQ будет ближе к FP16, чем GPTQ. Вывод: AWQ лучше сохраняет reasoning-способности.

Связь с другими вопросами

Навигация

• Предыдущий: 456
• Следующий: 458
• Индекс: 00. Индекс разборов