Independent Draft

Определение

Архитектура speculative decoding, где используется отдельная маленькая модель для генерации черновиков. Проста в реализации, но требует вдвое больше памяти и может иметь низкий acceptance rate.

Где встречается

• 164. Какие trade-offs между разными архитектурами speculative decoding
• 440. Как работает speculative decoding Как выбрать draft модель
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление