slot memory
slot memory
Определение
Элемент компрессированной памяти фиксированного размера, хранящий агрегированную информацию о множестве предыдущих токенов. Используется в архитектурах с бесконечным контекстом (например, Infini-attention) и в Redis для распределения данных по шардам.
Где встречается
- 632. Как работает Infini-attention (Google, 2024) для бесконечного контекста
- 40. Настроить hot shard detection