block
block
Определение
Единица KV-кэша фиксированного размера (обычно 16 токенов) в системе paged attention. Блоки находятся в состояниях free, allocated или swapped и управляются Block manager.
Где встречается
- 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
- 800+ вопросов