English translation is not available yet. Showing Russian content.
vllm:num_requests_waiting
vllm:num_requests_waiting
Определение
Метрика, экспортируемая vLLM, показывающая количество запросов, ожидающих в очереди на обработку; используется для мониторинга загрузки и автоскейлинга.