Priority

Определение

Числовое значение или метрика, определяющая срочность обработки запроса. Используется в планировщиках очередей (например, vLLM) для приоритетной обработки.

Где встречается

• 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
• 453. Как работает continuous batching в TGI (Hugging Face Text Generation Inference)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление