Independent Draft
Independent Draft
Определение
Архитектура speculative decoding, где используется отдельная маленькая модель для генерации черновиков. Проста в реализации, но требует вдвое больше памяти и может иметь низкий acceptance rate.
Где встречается
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 440. Как работает speculative decoding Как выбрать draft модель
- 800+ вопросов