неавторегрессивное декодирование
неавторегрессивное декодирование
Определение
Метод генерации, при котором несколько токенов или блоков токенов генерируются параллельно за один forward pass, что увеличивает скорость инференса за счёт возможного снижения качества; пример — Wave Decoding.
Где встречается
- 215. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
- 450. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
- 800+ вопросов