rejection sampling

Определение

Метод выборки в спекулятивном декодировании: draft-модель генерирует токены, а target-модель принимает или отвергает их на основе вероятностей; отвергнутые токены заменяются семплированием из скорректированного распределения.

Где встречается

• 157. Какие есть методы ускорения тест-тайм компьютинга (KV-cache, speculative decoding)
• 159. Как speculative decoding взаимодействует с KV cache
• 161. Как вы измеряете эффективность speculative decoding
• 164. Какие trade-offs между разными архитектурами speculative decoding
• 212. Как работает speculative decoding с несколькими draft моделями
• 289. Как работает speculative decoding на уровне логитов, а не токенов
• 440. Как работает speculative decoding Как выбрать draft модель
• 456. Что такое Medusa (multiple heads) для speculative decoding
• 838. Как speculative decoding ускоряет inference (детально)
• 800+ вопросов
• 220. Настроить wave decoding для коротких ответов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление