Running queue

Определение

Очередь запросов, которые в данный момент генерируют токены и имеют выделенные блоки KV cache; обновляется на каждой итерации.