hybrid scheduling

Определение

Комбинация приоритетного и справедливого планирования запросов к LLM для баланса между соблюдением SLA и равномерностью обслуживания.

Где встречается

• 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление