Flash Decoding

Определение

Оптимизация decode-этапа инференса LLM через параллельную обработку запросов в batch, что снижает задержку генерации токенов.

Где встречается

• 211. Как вы измеряете и оптимизируете TTFT (Time To First Token) и TPOT (Time Per Output Token)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление