English translation is not available yet. Showing Russian content.
блок фиксированного размера
блок фиксированного размера
Определение
Единица аллокации KV-кэша в PagedAttention (например, 16 токенов), позволяющая непоследовательное размещение блоков в памяти и эффективное управление кэшем.