Starvation

Определение

Ситуация, когда низкоприоритетные запросы длительное время не получают ресурсов из-за постоянного поступления высокоприоритетных. Возникает в очередях инференса при несправедливом планировщике.

Где встречается

• 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
• 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
• 848. Как работает динамическое бэтчирование в TGI vs vLLM
• 850. Как работают inference schedulers (FCFS, Priority, Fairness)
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление