Dynamic resource allocation

Определение

Подход, при котором вычислительные ресурсы (например, GPU) автоматически перераспределяются между tenants в зависимости от текущей нагрузки.

Где встречается

• 826. Как организовать GPU scheduling для multi-tenant LLM serving

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление