RelayCaching

Определение

Метод переиспользования KV кэша между агентами в multi-turn сценариях, снижающий latency и memory overhead.

Где встречается

• 159. Как speculative decoding взаимодействует с KV cache
• 206. Что такое KV cache reuse в multi-turn диалогах и как его реализовать
• 800+ вопросов

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление