acceptance window
acceptance window
Определение
Число токенов, генерируемых draft моделью за одну волну в speculative decoding. Определяет размер блока для параллельной верификации target моделью.
Число токенов, генерируемых draft моделью за одну волну в speculative decoding. Определяет размер блока для параллельной верификации target моделью.