Overprovisioning

Определение

Состояние, когда GPU простаивают из-за избыточного выделения ресурсов, что ведёт к дополнительным затратам. Избегание оверпровижена — цель автоскейлинга.

Где встречается

• 825. Что такое autoscaling inference и как его настроить
• Практика
• 74. Настроить auto-scaling для vLLM
• 192. Настроить autoscaling для LLM сервера

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление