Overprovisioning
Overprovisioning
Определение
Состояние, когда GPU простаивают из-за избыточного выделения ресурсов, что ведёт к дополнительным затратам. Избегание оверпровижена — цель автоскейлинга.
Где встречается
- 825. Что такое autoscaling inference и как его настроить
- Практика
- 74. Настроить auto-scaling для vLLM
- 192. Настроить autoscaling для LLM сервера