request_rate

Определение

Метрика интенсивности запросов, используемая для мониторинга и алертинга при превышении порога (например, >90% лимита).

Где встречается

• 411. Как вы проектируете backpressure в LLM serving системе

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление