Rolling Buffer Cache

Определение

KV-кэш фиксированного размера, где старые пары вытесняются новыми, позволяя обрабатывать последовательности произвольной длины без роста памяти.

Где встречается

• 281. Что такое sliding window attention и зачем он в Mistral

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление