Страничная организация памяти

Определение

Концепция из ОС, заимствованная в Paged Attention: KV-кэш разбивается на блоки фиксированного размера (страницы) для эффективного управления памятью и избежания фрагментации.

Где встречается

• 202. Как работает paged attention в vLLM Чем это отличается от стандартного attention механизма

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление