Stochastic speculative decoding

Определение

Вариант спекулятивного декодирования, использующий rejection sampling для точного сохранения распределения целевой модели при ускорении генерации.

Где встречается

• 157. Какие есть методы ускорения тест-тайм компьютинга (KV-cache, speculative decoding)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление