中文翻译暂不可用,显示俄语原文。
Greedy speculative decoding
Greedy speculative decoding
Определение
Вариант speculative decoding, при котором токены от draft-модели принимаются, если их argmax совпадает с argmax основной модели, что ускоряет инференс без потери качества.