Scissorhands

Определение

Эвристическая политика вытеснения из кэша KV-кэша, которая сохраняет sink-токены, последние токены и случайные старые токены для поддержания длинного контекста.

Где встречается

• 648. Что такое streaming LLM для бесконечного контекста (техника rollback)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление