load shedding

Определение

Механизм управления перегрузкой сервера путём отклонения части входящих запросов для сохранения стабильности и качества обслуживания приоритетных запросов.

Где встречается

• 244. Как вы проектируете backpressure в LLM serving системе
• 249. Как вы делаете load shedding при перегрузке LLM сервера
• 411. Как вы проектируете backpressure в LLM serving системе
• 416. Как вы делаете load shedding при перегрузке LLM сервера
• Практика
• 800+ вопросов
• 203. Реализовать retry storm mitigation

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление