Swapped queue

Определение

Очередь запросов, чьи KV-кэши выгружены в CPU-память; планировщик восстанавливает их при наличии свободного места.

Где встречается

• 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление