parallel forward pass

Определение

Метод инференса, при котором target-модель обрабатывает несколько токенов за один проход, например, в speculative decoding.

Где встречается

• 289. Как работает speculative decoding на уровне логитов, а не токенов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление