queue_latency

Определение

Метрика времени ожидания запроса в очереди; при превышении порога (например, 2 секунды) генерирует алерт для оперативного реагирования.

Где встречается

• 411. Как вы проектируете backpressure в LLM serving системе

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление