block

Определение

Единица KV-кэша фиксированного размера (обычно 16 токенов) в системе paged attention. Блоки находятся в состояниях free, allocated или swapped и управляются Block manager.

Где встречается

• 207. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
• 447. Как работает scheduler в vLLM Какие алгоритмы выбора запросов
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление