available blocks

Определение

Блоки памяти, доступные для размещения KV-кэша, которые учитываются планировщиком vLLM при выборе запросов для инференса.