draft length

Определение

Длина последовательности токенов, генерируемых draft-моделью за один шаг в speculative decoding. Оптимальное значение — 3–5 токенов.

Где встречается

• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление