Selective shedding

Определение

Постепенный сброс запросов по приоритетам при превышении порогов нагрузки на LLM-сервер для предотвращения перегрузки.

Где встречается

• 416. Как вы делаете load shedding при перегрузке LLM сервера

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление