priority queuing
priority queuing
Определение
Механизм организации очереди запросов, где каждый запрос имеет приоритет, и запросы с более высоким приоритетом обслуживаются раньше; часто используется для разделения трафика (премиум, regular, batch) и для load shedding.
Где встречается
- 244. Как вы проектируете backpressure в LLM serving системе
- 249. Как вы делаете load shedding при перегрузке LLM сервера
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- 771. Как проектировать delegation с учётом человеческого фактора (усталость, занятость)
- 800+ вопросов
- 219. Сравнить inference schedulers (FCFS vs Priority)
- 292. Реализовать distributed task queue для агентов