English translation is not available yet. Showing Russian content.
Scissorhands
Scissorhands
Определение
Эвристическая политика вытеснения из кэша KV-кэша, которая сохраняет sink-токены, последние токены и случайные старые токены для поддержания длинного контекста.