Sliding window cache

Определение

Стратегия кэширования только последних N токенов в KV cache для экономии памяти в длинных диалогах.

Где встречается

• 206. Что такое KV cache reuse в multi-turn диалогах и как его реализовать

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление