rolling cache

Определение

Техника для sliding window attention, позволяющая обрабатывать длинные контексты путем циклического буферизованного кэширования.