Starvation
Starvation
Определение
Ситуация, когда низкоприоритетные запросы длительное время не получают ресурсов из-за постоянного поступления высокоприоритетных. Возникает в очередях инференса при несправедливом планировщике.
Где встречается
- 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 848. Как работает динамическое бэтчирование в TGI vs vLLM
- 850. Как работают inference schedulers (FCFS, Priority, Fairness)
- 800+ вопросов