Underprovisioning

Определение

Ситуация, когда количество реплик модели недостаточно для текущей нагрузки, что ведёт к росту задержки и нарушению SLA.

Где встречается

• 825. Что такое autoscaling inference и как его настроить

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление