Priority
Priority
Определение
Числовое значение или метрика, определяющая срочность обработки запроса. Используется в планировщиках очередей (например, vLLM) для приоритетной обработки.
Где встречается
- 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 453. Как работает continuous batching в TGI (Hugging Face Text Generation Inference)
- 800+ вопросов