load shedding
load shedding
Определение
Механизм управления перегрузкой сервера путём отклонения части входящих запросов для сохранения стабильности и качества обслуживания приоритетных запросов.
Где встречается
- 244. Как вы проектируете backpressure в LLM serving системе
- 249. Как вы делаете load shedding при перегрузке LLM сервера
- 411. Как вы проектируете backpressure в LLM serving системе
- 416. Как вы делаете load shedding при перегрузке LLM сервера
- Практика
- 800+ вопросов
- 203. Реализовать retry storm mitigation