preemption overhead

Определение

Дополнительные задержки, возникающие из-за вытеснения запросов: время подкачки (swap) или перевычисления (recompute) KV cache. Увеличивает latency и снижает throughput.

Где встречается

• 848. Как работает динамическое бэтчирование в TGI vs vLLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление