Autoregressive inference

Определение

Этап генерации токенов один за другим во время инференса LLM, стандартный для авторегрессионных моделей, в отличие от prefill-стадии.

Где встречается

• 436. В чем разница между prefill и decode stage в LLM инференсе

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление