Stochastic speculative decoding

Определение

Вариант спекулятивного декодирования, использующий rejection sampling для точного сохранения распределения целевой модели при ускорении генерации.