Greedy speculative decoding
Greedy speculative decoding
Определение
Вариант speculative decoding, при котором токены от draft-модели принимаются, если их argmax совпадает с argmax основной модели, что ускоряет инференс без потери качества.
Вариант speculative decoding, при котором токены от draft-модели принимаются, если их argmax совпадает с argmax основной модели, что ускоряет инференс без потери качества.