中文翻译暂不可用，显示俄语原文。
attention sink
attention sink
Определение
Феномен, при котором первые токены контекста получают непропорционально много внимания, что ухудшает качество на длинных контекстах и ведёт к эффекту lost in the middle.
Где встречается
- 286. Как вы детектируете и фиксите attention sinks в длинных контекстах
- 433. Почему KV cache растет линейно с длиной контекста и как это оптимизировать
- 628. Что такое attention sink и почему он возникает в длинных контекстах
- 631. Как вы делаете длинный контекст для RAG (100k+ токенов в контексте)
- 634. Что такое lost in the middle и как это связано с attention sink
- 636. Как вы проектируете промпт для long context рассуждения (CoT, ToT, GoT)
- 800+ вопросов