中文翻译暂不可用,显示俄语原文。
Waiting queue
Waiting queue
Определение
Очередь запросов, ожидающих начала обработки, из которой scheduler берёт новые запросы для выполнения.
Где встречается
- 438. Что такое continuous batching Как реализовано в vLLM
- 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов