Drop rate

Определение

Доля запросов, отброшенных из-за перегрузки или переполнения очереди. Метрика эффективности load shedding.

Где встречается

• 249. Как вы делаете load shedding при перегрузке LLM сервера
• 219. Сравнить inference schedulers (FCFS vs Priority)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление