acceptance window

Определение

Число токенов, генерируемых draft моделью за одну волну в speculative decoding. Определяет размер блока для параллельной верификации target моделью.

Где встречается

• 220. Настроить wave decoding для коротких ответов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление