Variational Speculative Decoding

Определение

Метод ускорения инференса LLM, который переформулирует обучение draft модели через вариационные методы для прямой оптимизации acceptance rate.

Где встречается

• 160. Что такое Variational Speculative Decoding (VSD) и чем он революционен
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление