Noisy neighbor problem
Noisy neighbor problem
Определение
Ситуация в мультитенантных средах, когда один инстанс (GPU, процесс) потребляет общие ресурсы, ухудшая производительность других. Решения включают MIG и изоляцию ресурсов.
Где встречается
- 315. Что такое MIG (Multi-Instance GPU) и когда он полезен для LLM
- 205. Настроить GPU scheduling для multi-tenant