auto-scaling
auto-scaling
Определение
Динамическое изменение количества реплик или ресурсов в зависимости от нагрузки для поддержания производительности и экономии затрат.
Где встречается
- 156. Как вы выбираете между увеличением тест-тайм компьютинга и использованием большей модели
- 249. Как вы делаете load shedding при перегрузке LLM сервера
- 254. Как вы проектируете disaster recovery для LLM системы при сбое региона
- Практика
- 800+ вопросов
- 72. Настроить capacity planning для GPU кластера
- 192. Настроить autoscaling для LLM сервера