KV cache management
KV cache management
Определение
Управление кэшем ключ-значение для поддержки нелинейных обновлений (например, при спекулятивном декодировании или откате rejected токенов), требующее корректного ветвления и очистки.
Управление кэшем ключ-значение для поддержки нелинейных обновлений (например, при спекулятивном декодировании или откате rejected токенов), требующее корректного ветвления и очистки.