Multi-tenant LLM serving

Определение

Организация доступа нескольких команд или продуктов к LLM на общем GPU. Включает планирование запросов (scheduling) с учётом SLA каждого тенанта.

Где встречается

• 826. Как организовать GPU scheduling для multi-tenant LLM serving
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление