неавторегрессивное декодирование

Определение

Метод генерации, при котором несколько токенов или блоков токенов генерируются параллельно за один forward pass, что увеличивает скорость инференса за счёт возможного снижения качества; пример — Wave Decoding.

Где встречается

• 215. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
• 450. Что такое Wave Decoding и чем отличается от стандартного авторегрессивного
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление