Non-autoregressive inference

Определение

Метод генерации всех выходных токенов за один прямой проход модели, в отличие от последовательного декодирования. Позволяет значительно ускорить инференс, но может снизить качество.

Где встречается

• 436. В чем разница между prefill и decode stage в LLM инференсе

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление