English translation is not available yet. Showing Russian content.
Greedy speculative decoding
Greedy speculative decoding
Определение
Вариант speculative decoding, при котором токены от draft-модели принимаются, если их argmax совпадает с argmax основной модели, что ускоряет инференс без потери качества.