English translation is not available yet. Showing Russian content.
draft model
draft model
Определение
Быстрая, меньшая модель, которая генерирует черновик токенов для последующей верификации целевой (target) моделью в speculative decoding. Используется для ускорения инференса.
Где встречается
- 157. Какие есть методы ускорения тест-тайм компьютинга (KV-cache, speculative decoding)
- 158. Что такое EAGLE-3 и чем он отличается от стандартного speculative decoding
- 159. Как speculative decoding взаимодействует с KV cache
- 160. Что такое Variational Speculative Decoding (VSD) и чем он революционен
- 161. Как вы измеряете эффективность speculative decoding
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 205. Как вы деплоите LLM с requirement 100ms latency при throughput 1000 reqs Архитектура.
- 212. Как работает speculative decoding с несколькими draft моделями
- 220. Как вы выбираете между online и batch инференсом для LLM
- 289. Как работает speculative decoding на уровне логитов, а не токенов
- 440. Как работает speculative decoding Как выбрать draft модель
- 441. EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.
- 456. Что такое Medusa (multiple heads) для speculative decoding
- 838. Как speculative decoding ускоряет inference (детально)
- Практика
- 800+ вопросов
- 173. Реализовать prompt lifecycle
- 220. Настроить wave decoding для коротких ответов