Feature-Aware Speculative Decoding
Feature-Aware Speculative Decoding
Определение
Метод speculative decoding, использующий нейронные сети и скрытые состояния target-модели для высокоточной генерации черновика.
Где встречается
- 159. Как speculative decoding взаимодействует с KV cache
- 164. Какие trade-offs между разными архитектурами speculative decoding
- 212. Как работает speculative decoding с несколькими draft моделями
- 440. Как работает speculative decoding Как выбрать draft модель
- 441. EAGLE-3 vs Medusa-2 vs Hydra сравнение speculative decoding методов.
- 456. Что такое Medusa (multiple heads) для speculative decoding
- 714. RWKV (RNN with Transformer attention) как комбинирует RNN и attention
- 838. Как speculative decoding ускоряет inference (детально)
- 800+ вопросов