Logical KV-blocks

Определение

Виртуальные блоки KV-кэша в механизме Paged Attention, где каждый запрос получает последовательную нумерацию блоков для эффективного управления памятью.

Где встречается

• 202. Как работает paged attention в vLLM Чем это отличается от стандартного attention механизма

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление