Lookahead decoding

Определение

Метод спекулятивного декодирования, ускоряющий генерацию за счёт предсказания будущих токенов с помощью кэша или n-грамм, без отдельной модели-драфтера.

Где встречается

• 160. Что такое Variational Speculative Decoding (VSD) и чем он революционен
• 456. Что такое Medusa (multiple heads) для speculative decoding

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление