…

iteration-level scheduling

Определение

Механизм планирования на уровне итераций, лежащий в основе continuous batching в vLLM. Позволяет управлять батчем на каждой итерации генерации.