Flash crowd

Определение

Резкий рост числа пользователей или запросов, например, из-за вирусного поста. Требует механизмов load shedding и auto-scaling для стабильности.

Где встречается

• 249. Как вы делаете load shedding при перегрузке LLM сервера
• 74. Настроить auto-scaling для vLLM

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление