sink tokens

Определение

Первые токены последовательности, которые получают непропорционально большое внимание и сохраняются для стабилизации генерации в длинных контекстах.

Где встречается

• 286. Как вы детектируете и фиксите attention sinks в длинных контекстах
• 642. Как вы реализуете KV cache для 1M токенов на 8x H100
• 648. Что такое streaming LLM для бесконечного контекста (техника rollback)

Навигация

• Индекс терминов
• Индекс разборов
• Оглавление