GPU scheduling
GPU scheduling
Определение
Механизм распределения вычислительных ресурсов GPU между задачами или арендаторами (tenant'ами) в multi-tenant окружении. Обеспечивает справедливое использование и изоляцию.
Где встречается
- 826. Как организовать GPU scheduling для multi-tenant LLM serving
- Практика
- 800+ вопросов
- 205. Настроить GPU scheduling для multi-tenant