блок фиксированного размера

Определение

Единица аллокации KV-кэша в PagedAttention (например, 16 токенов), позволяющая непоследовательное размещение блоков в памяти и эффективное управление кэшем.

Где встречается

• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление