swap-space

Определение

Область CPU-памяти, выделяемая для хранения вытесненных KV-кэшей при динамическом управлении памятью инференса.

Где встречается

• 848. Как работает динамическое бэтчирование в TGI vs vLLM
• 224. vLLM кластер на 4 GPU

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление