Как вы деплоите speculative decoding в production?

Краткий тезис

Speculative decoding — это техника ускорения инференса LLM, при которой маленькая «черновая» модель (draft model) генерирует несколько токенов, а большая целевая модель (target model) проверяет их параллельно, принимая или отвергая. Деплой требует выбора draft-модели (независимая или квантизованная версия target), настройки длины черновика (обычно 3–5 токенов), управления KV cache для отката отвергнутых токенов и мониторинга acceptance rate как ключевого SLO. Ключевая сложность — баланс между ускорением и overhead от верификации.

1. Термин: Speculative Decoding (спекулятивное декодирование)

Speculative decoding — метод ускорения генерации текста, при котором маленькая и быстрая модель (draft model) генерирует последовательность из K токенов, а большая целевая модель (target model) проверяет их все за один forward pass, принимая токены, совпадающие с её собственным распределением, и отвергая остальные. Отвергнутые токены заменяются на токены, сэмплированные из скорректированного распределения target модели.

Зачем это нужно LLM большого размера (70B+) генерируют токены последовательно, что bottleneck — память и latency. Speculative decoding позволяет генерировать несколько токенов за шаг, сохраняя качество исходной модели (теоретически без потерь, lossless).

Ключевые термины

• Draft model — маленькая модель (например, 1.5B), которая быстро генерирует черновик.
• Target model — большая модель (например, 70B), которая верифицирует черновик.
• Acceptance rate — доля токенов черновика, принятых target моделью.
• Draft length (K) — количество токенов, генерируемых draft моделью за один цикл.

2. Архитектура: Draft model + Target model (Verifier)

Процесс speculative decoding состоит из цикла:

1. Draft generation Draft модель генерирует K токенов авторегрессивно (последовательно). Это быстро, так как модель маленькая.
2. Verification: Target модель получает на вход последовательность из K токенов (плюс предыдущий контекст) и выполняет один forward pass, вычисляя логиты для каждого из K позиций.
3. Accept/Reject Для каждого токена черновика проверяется, совпадает ли он с сэмплом из распределения target модели. Если совпадает — принимается. Если нет — токен отвергается, и дальнейшие токены черновика отбрасываются. Вместо отвергнутого токена сэмплируется новый из скорректированного распределения target модели.
4. KV cache update KV cache target модели обновляется с учётом принятых токенов. Для отвергнутых токенов кэш откатывается.

Визуализация (псевдокод):

def speculative_decode(draft_model, target_model, prompt, K=5):
    # Шаг 1: генерация черновика
    draft_tokens = draft_model.generate(prompt, max_new_tokens=K)
    # Шаг 2: верификация target моделью
    target_logits = target_model.forward(prompt + draft_tokens)
    accepted = []
    for i in range(K):
        # Сэмпл из распределения target модели для i-го токена черновика
        target_dist = softmax(target_logits[i])
        sampled_token = sample(target_dist)
        if draft_tokens[i] == sampled_token:
            accepted.append(draft_tokens[i])
        else:
            # Отвергаем, сэмплируем новый токен
            accepted.append(sampled_token)
            break
    # Шаг 3: возвращаем принятые токены
    return accepted

Важно Теоретически speculative decoding не меняет распределение target модели (lossless), если draft модель не слишком плоха. На практике из-за аппроксимаций возможны небольшие отклонения.

3. Выбор draft модели: Independent Draft vs Self-Speculative

Существует два основных подхода к выбору draft модели:

Рекомендации для production

• Если target модель очень большая (70B+), а бюджет на GPU позволяет держать две модели, Independent Draft с маленькой моделью (1.5B–7B) даёт наибольший выигрыш в latency.
• Если GPU-память ограничена, Self-Speculative с квантизованной target моделью (например, 4-bit) — хороший компромисс.
• Для моделей семейства Llama 2/3 часто используют draft модели того же семейства (например, Llama 3.2 1B для Llama 3.1 70B).

Практический совет Перед деплоем измерьте acceptance rate на репрезентативном датасете. Если он ниже 0.6, ускорение может быть незначительным.

4. Настройка draft length (K) и acceptance rate

Draft length (K) — количество токенов, генерируемых draft моделью за цикл. Типичное значение: 3–5 токенов.

Почему не больше

• Чем больше K, тем выше вероятность, что хотя бы один токен будет отвергнут, и весь черновик после него отбрасывается.
• Verification target модели требует O(K) памяти и вычислений, но overhead растёт линейно.
• Эмпирически оптимальный K находится в диапазоне 3–7, в зависимости от acceptance rate.

Acceptance rate — ключевая метрика. Она зависит от:

• Сходства распределений draft и target моделей.
• Длины контекста (на коротких контекстах acceptance rate выше).
• Типа задачи (кодинг vs суммаризация).

Мониторинг: Acceptance rate должен быть >0.7 для ощутимого ускорения. Если он падает ниже 0.5, speculative decoding может даже замедлить генерацию из-за overhead.

Формула ожидаемого ускорения

Speedup ≈ (K * acceptance_rate) / (1 + overhead_factor)

Где overhead_factor — отношение времени verification к времени draft generation.

5. KV cache management для отката rejected токенов

KV cache — кэш ключей и значений attention слоёв, который хранится между шагами генерации. При speculative decoding возникает проблема: если токен отвергнут, KV cache должен быть откачен до состояния до этого токена.

Стратегии управления

1. Full rollback После каждого цикла speculative decoding KV cache сбрасывается до состояния перед черновиком, затем добавляются только принятые токены. Просто, но неэффективно.
2. Selective rollback Хранится несколько версий KV cache (checkpoints) для каждой позиции. При откате восстанавливается последний checkpoint до отвергнутого токена.
3. Shared KV cache (для Self-Speculative): Если draft и target модели используют одну архитектуру, можно использовать общий KV cache, но с осторожностью — draft модель может использовать меньше слоёв.

Рекомендация для production Используйте библиотеки, которые уже реализуют speculative decoding с оптимизированным KV cache (например, vLLM, TensorRT-LLM). Ручная реализация чревата багами и утечками памяти.

6. Мониторинг acceptance rate как ключевой SLO

SLO (Service Level Objective) — целевой уровень качества сервиса. Для speculative decoding основным SLO является acceptance rate.

Почему это важно

• Низкий acceptance rate → speculative decoding не даёт ускорения, а добавляет latency.
• Acceptance rate может меняться в зависимости от типа запросов (короткие vs длинные, кодинг vs диалог).
• Падение acceptance rate может сигнализировать о дрейфе данных (data drift) или проблемах с draft моделью.

Метрики для мониторинга

• Acceptance rate (средний) — доля принятых токенов от всех сгенерированных draft токенов.
• Acceptance rate по длине контекста — помогает выявить, на каких длинах модель работает хуже.
• Latency p50/p95/p99 — сравнивать с baseline без speculative decoding.
• Throughput (токенов/сек) — главная бизнес-метрика.

Инструменты Prometheus + Grafana для сбора метрик, логирование каждого цикла speculative decoding для отладки.

Пороговые значения

• Зелёная зона: acceptance rate > 0.7, throughput вырос > 1.5x.
• Жёлтая зона: acceptance rate 0.5–0.7, throughput вырос < 1.5x.
• Красная зона: acceptance rate < 0.5, throughput не вырос или упал.

7. Интеграция с inference engine (vLLM, TGI, TensorRT-LLM)

Современные inference engine уже поддерживают speculative decoding. Деплой сводится к конфигурации:

vLLM (пример конфигурации):

from vllm import LLM, SamplingParams

llm = LLM(
    model="meta-llama/Llama-3.1-70B",
    speculative_model="meta-llama/Llama-3.2-1B",  # draft model
    num_speculative_tokens=5,  # K
    use_v2_block_manager=True,  # для KV cache
)

TensorRT-LLM Поддерживает speculative decoding через speculative_decoding_mode в конфиге построения engine.

TGI (Text Generation Inference): Параметр --speculative-model и --num-speculative-tokens.

Важные нюансы

• Обе модели должны быть загружены в память одновременно (если Independent Draft). Это увеличивает потребление GPU memory.
• Для Self-Speculative можно использовать одну модель с разными уровнями квантизации (например, FP16 target и INT4 draft).
• Некоторые engine поддерживают Medusa — вариант speculative decoding с несколькими головами (heads) вместо отдельной draft модели.

8. A/B тестирование и постепенный rollout

Перед полным деплоем speculative decoding необходимо провести A/B тестирование:

1. Baseline Стандартный инференс target модели без спекуляции.
2. Treatment Speculative decoding с выбранной draft моделью и K.

Метрики сравнения

• Latency (time-to-first-token, inter-token latency)
• Throughput (токенов/сек)
• Quality (ROUGE, BLEU, или human eval) — убедиться, что speculative decoding не ухудшает качество.
• Cost (GPU-hours) — speculative decoding может снизить стоимость за счёт ускорения.

Рекомендации

• Начните с 5% трафика, постепенно увеличивая до 100% при подтверждении улучшений.
• Используйте feature flags (например, LaunchDarkly) для быстрого отката.
• Мониторьте acceptance rate в реальном времени.

9. Проблемы и подводные камни

Пет-проект для закрепления

Задача Развернуть speculative decoding для модели Llama 3.1 8B с draft моделью Llama 3.2 1B на локальном GPU (например, RTX 4090 с 24GB VRAM).

Инструменты

• Python, PyTorch, Transformers
• vLLM (поддерживает speculative decoding)
• Docker (опционально)
• Prometheus + Grafana для мониторинга

Шаги:

1. Установите vLLM с поддержкой speculative decoding (pip install vllm).
2. Загрузите target модель (Llama 3.1 8B) и draft модель (Llama 3.2 1B) через Hugging Face.
3. Настройте speculative decoding с K=5.
4. Запустите бенчмарк: измерьте latency и throughput на датасете из 1000 запросов (например, из ShareGPT).
5. Сравните с baseline (без speculative decoding).
6. Добавьте мониторинг acceptance rate через логирование в Prometheus.
7. Поэкспериментируйте с разными K (3, 5, 7) и запишите зависимость acceptance rate от длины контекста.

Ожидаемый результат

• Ускорение в 1.5–2x по throughput.
• Acceptance rate > 0.7.
• Графики зависимости latency от длины контекста.

Связь с другими вопросами

Навигация

• Предыдущий: 162
• Следующий: 164
• Индекс: 00. Индекс разборов