Swapped queue
Swapped queue
Определение
Очередь запросов, чьи KV-кэши выгружены в CPU-память; планировщик восстанавливает их при наличии свободного места.
Очередь запросов, чьи KV-кэши выгружены в CPU-память; планировщик восстанавливает их при наличии свободного места.