Physical KV-blocks

Определение

Реальные блоки памяти на GPU, используемые в paged attention для эффективного управления кэшем ключей и значений. Выделяются по мере необходимости и могут быть разбросаны в памяти.

Где встречается

• 202. Как работает paged attention в vLLM Чем это отличается от стандартного attention механизма

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление