中文翻译暂不可用,显示俄语原文。

Greedy speculative decoding

Greedy speculative decoding

Определение

Вариант speculative decoding, при котором токены от draft-модели принимаются, если их argmax совпадает с argmax основной модели, что ускоряет инференс без потери качества.

Где встречается

Навигация