rejection sampling
rejection sampling
Определение
Метод выборки в спекулятивном декодировании: draft-модель генерирует токены, а target-модель принимает или отвергает их на основе вероятностей; отвергнутые токены заменяются семплированием из скорректированного распределения.
Где встречается
- 157. Какие есть методы ускорения тест-тайм компьютинга (KV-cache, speculative decoding)
- 159. Как speculative decoding взаимодействует с KV cache
- 161. Как вы измеряете эффективность speculative decoding
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 212. Как работает speculative decoding с несколькими draft моделями
- 289. Как работает speculative decoding на уровне логитов, а не токенов
- 440. Как работает speculative decoding Как выбрать draft модель
- 456. Что такое Medusa (multiple heads) для speculative decoding
- 838. Как speculative decoding ускоряет inference (детально)
- 800+ вопросов
- 220. Настроить wave decoding для коротких ответов