Multi-tenant LLM serving

Определение

Организация доступа нескольких команд или продуктов к LLM на общем GPU. Включает планирование запросов (scheduling) с учётом SLA каждого тенанта.