LIFO-эвристика

Определение

Эвристика вытеснения последних добавленных запросов в планировщике vLLM. Минимизирует перевычисления за счёт удаления самых свежих запросов при переполнении очереди.

Где встречается

• 850. Как работают inference schedulers (FCFS, Priority, Fairness)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление